Cursul 5. Eșantionare dintr-o populație normală

Slide-urile cursului 5
Deschide slide-urile pe tot ecranul În prezentare: ← → navigare, F ecran complet, M meniu, O privire de ansamblu.
Planul cursului

Pentru a face inferență avem nevoie de repartițiile de eșantionare ale statisticilor (Cursul 2), care descriu cum variază valoarea unei statistici de la un eșantion la altul. În acest curs le studiem pentru cele două statistici cele mai importante, media eșantionului \(\Xbar\) și varianța eșantionului \(S_n^2\). Mai întâi calculăm momentele lor pentru o populație oarecare (medii, varianțe, covarianța lor, comportamentul pentru \(n\) mare); apoi, pentru o populație normală, determinăm repartițiile lor exacte, pentru orice volum \(n\). Rezultatul central este teorema lui Fisher, pe care o demonstrăm cu instrumentele din Cursul 1 și Cursul 4: funcția generatoare de momente, schimbarea de variabilă, criteriul de factorizare și o inducție după \(n\). Pe parcurs apar repartițiile \(\chi^2\), Student și Fisher–Snedecor, pe care se bazează toate intervalele de încredere și testele pentru populații normale (Cursul 13, Cursul 15).

Obiectivele cursului:

  1. să calculăm \(\E[\Xbar]\), \(\Var(\Xbar)\), \(\E[S_n^2]\), \(\Var(S_n^2)\) și \(\Cov(\Xbar,S_n^2)\) pentru o populație oarecare, să înțelegem rolul factorului \(\frac1{n-1}\) și comportamentul lui \(S_n^2\) pentru \(n\) mare;
  2. să studiem repartițiile Gamma și \(\chi^2\) cu ajutorul funcției generatoare de momente;
  3. să demonstrăm complet teorema lui Fisher: \(\Xbar\) este normală, \(\Xbar\) și \(S_n^2\) sunt independente, iar \((n-1)S_n^2/\sigma^2\) are repartiția \(\chi^2_{n-1}\);
  4. să deducem densitățile repartițiilor Student și Fisher–Snedecor și să le folosim pentru una și două populații normale;
  5. să calculăm în R probabilități și cuantile ale acestor repartiții și să verificăm rezultatele prin simulare.

Secțiunile: recapitulare; media și varianța eșantionului; repartițiile Gamma și \(\chi^2\); teorema lui Fisher; repartițiile Student și Fisher–Snedecor; exerciții rezolvate. Referințe: (Casella and Berger 2002, secț. 5.2–5.3), (Knight 2000, secț. 2.4), (Hogg et al. 2019, cap. 3).

1 Recapitulare

Folosim notațiile din cursurile anterioare: \(X_1,\dots,X_n\) este un eșantion de volum \(n\), adică un șir de v.a. independente și identic repartizate (Definiția 8 din Cursul 2), dintr-o populație cu funcția de repartiție \(F\); o statistică este o funcție măsurabilă de eșantion care nu depinde de parametrii necunoscuți, iar repartiția ei se numește repartiție de eșantionare (Definiția 11 din Cursul 2). Notăm \(\mu=\E[X_1]\), \(\sigma^2=\Var(X_1)\) și \(\mu_k=\E[(X_1-\mu)^k]\) momentele centrate ale populației (când există).

Rezultate din cursurile anterioare folosite azi

Din Cursul 1:

  • f.g.m. \(M_X(t)=\E[e^{tX}]\) (Definiția 30 din Cursul 1): dacă este finită pe o vecinătate a lui \(0\), ea determină repartiția (Teorema 33 din Cursul 1); \(M_{a+bX}(t)=e^{at}M_X(bt)\), iar pentru v.a. independente \(M_{X_1+\dots+X_n}=\prod_iM_{X_i}\) (Propoziția 46 din Cursul 1); pentru \(\Norm(\mu,\sigma^2)\), \(M(t)=e^{\mu t+\sigma^2t^2/2}\) (Exemplul 22 din Cursul 1); o combinație liniară de v.a. normale independente este normală (Exemplul 30 din Cursul 1);
  • independența (Definiția 37 din Cursul 1), criteriul de factorizare (Propoziția 38 din Cursul 1); funcții de blocuri disjuncte de v.a. independente sunt independente (Propoziția 39 din Cursul 1); \(\E[g(X)h(Y)]=\E[g(X)]\E[h(Y)]\) pentru \(X\indep Y\) (Propoziția 40 din Cursul 1); proprietățile covarianței (Propoziția 42 din Cursul 1); repartițiile marginale (Propoziția 36 din Cursul 1);
  • schimbarea de variabilă pentru vectori aleatori (Teorema 52 din Cursul 1): dacă \(\bX\) are densitatea \(f_{\bX}\), \(S\subseteq\R^d\) este deschisă cu \(\PP(\bX\in S)=1\), iar \(h:S\to\R^d\) este injectivă, de clasă \(C^1\), cu \(J_h\ne0\) pe \(S\), atunci \(T=h(S)\) este deschisă și \(\mathbf Y=h(\bX)\) are densitatea \(f_{\mathbf Y}(\mathbf y)=f_{\bX}\big(h^{-1}(\mathbf y)\big)\big|J_{h^{-1}}(\mathbf y)\big|\Ind_T(\mathbf y)\); densitatea pătratului unei v.a. (Propoziția 20 din Cursul 1) și \(a+bX\sim\Norm(a+b\mu,b^2\sigma^2)\) pentru \(X\sim\Norm(\mu,\sigma^2)\) (Propoziția 18 din Cursul 1);
  • inegalitățile lui Markov și Cebîșev (Propoziția 26 din Cursul 1); LNM (Teorema 61 din Cursul 1), TLC (Teorema 64 din Cursul 1), relațiile dintre convergențe (Teorema 56 din Cursul 1), teorema aplicațiilor continue (Teorema 57 din Cursul 1) și lema lui Slutsky (Teorema 58 din Cursul 1).

Din Cursul 4: criteriul de factorizare a densității comune (Lema 10 din Cursul 4): dacă \((\mathbf U,\mathbf V)\) are densitatea \(a(\mathbf u)\,b(\mathbf v)\) pentru orice \((\mathbf u,\mathbf v)\), cu \(a,b\ge0\), atunci \(\mathbf U\indep\mathbf V\), iar \(f_{\mathbf U}=c_b\,a\), \(f_{\mathbf V}=c_a\,b\), unde \(c_a=\int a\), \(c_b=\int b\) și \(c_ac_b=1\).

Cursul are două părți. În prima (Secțiunea 2) populația este oarecare și obținem momentele lui \(\Xbar\) și \(S_n^2\) și comportamentul lor asimptotic; acestea sunt suficiente pentru a discuta nedeplasarea (Cursul 7), dar nu pentru a calcula probabilități exacte de forma \(\PP(S_n^2>c)\). În a doua parte (secțiunile 3–5) presupunem că populația este normală; atunci repartițiile de eșantionare se pot calcula exact. În R, pentru fiecare repartiție există patru funcții: d... (densitatea), p... (funcția de repartiție), q... (cuantila) și r... (simulare). Toate cuantilele din curs sunt cuantile inferioare: \(z_p\) = qnorm(p), \(\chi^2_{\nu,p}\) = qchisq(p, nu), \(t_{\nu,p}\) = qt(p, nu), \(F_{\nu_1,\nu_2,p}\) = qf(p, nu1, nu2); de exemplu, \(\PP\big(\chisq{\nu}\le\chi^2_{\nu,p}\big)=p\).

2 Media și varianța eșantionului

În această secțiune \(X_1,\dots,X_n\) este un eșantion dintr-o populație oarecare, cu media \(\mu\) și varianța \(\sigma^2<\infty\); normalitatea nu intervine. Studiem statisticile care estimează natural media și varianța populației (Casella and Berger 2002, secț. 5.2).

2.1 Media eșantionului

Cea mai simplă statistică este media aritmetică a observațiilor.

Definiția 1 (Media eșantionului)

Se numește media eșantionului (sau media empirică) statistica \[ \Xbar=\frac1n\sum_{i=1}^nX_i . \] Valoarea ei pe o realizare \(x_1,\dots,x_n\) se notează \(\bar x_n\).

Propoziția 2 (Proprietățile mediei eșantionului)

Fie \(X_1,\dots,X_n\) un eșantion dintr-o populație cu media \(\mu\) și varianța \(\sigma^2<\infty\). Atunci:

  1. \(\E[\Xbar]=\mu\) și \(\Var(\Xbar)=\dfrac{\sigma^2}{n}\);

  2. \(\Xbar\asto\mu\) și \(\sqrt n\,(\Xbar-\mu)\dto\Norm(0,\sigma^2)\) când \(n\to\infty\).

Demonstrație. Ideea demonstrației. Punctul (a) folosește doar liniaritatea mediei și formula varianței unei sume de variabile necorelate. Punctul (b) este LNM tare, respectiv TLC, aplicate șirului i.i.d. \((X_i)_{i\ge1}\), după ce verificăm ipotezele lor asupra momentelor.

  1. Media. Din liniaritatea mediei (Propoziția 23(a) din Cursul 1 și (b)) și din faptul că toate observațiile au media \(\mu\), \[ \E[\Xbar]=\E\Big[\frac1n\sum_{i=1}^nX_i\Big]=\frac1n\sum_{i=1}^n\E[X_i]=\frac1n\cdot n\mu=\mu . \] Aici nu se folosește independența, ci doar egalitatea mediilor.

Varianța. Din Propoziția 42(c) din Cursul 1, \(\Var\big(\sum_iX_i\big)=\sum_i\Var(X_i)+2\sum_{i<j}\Cov(X_i,X_j)\). Pentru \(i\ne j\), \(X_i\) și \(X_j\) sunt independente, deci \(\Cov(X_i,X_j)=0\) (Propoziția 42(d) din Cursul 1); cum \(\Var(cY)=c^2\Var(Y)\) (Propoziția 25(b) din Cursul 1, aici cu \(c=\frac1n\) și \(Y=\sum_iX_i\)), \[ \Var(\Xbar)=\frac1{n^2}\Var\Big(\sum_{i=1}^nX_i\Big)=\frac1{n^2}\Big(\sum_{i=1}^n\underbrace{\Var(X_i)}_{=\sigma^2}+2\sum_{i<j}\underbrace{\Cov(X_i,X_j)}_{=0}\Big)=\frac{n\sigma^2}{n^2}=\frac{\sigma^2}{n}. \] Ar fi fost suficient ca observațiile să fie necorelate două câte două (acesta este Corolarul 43 din Cursul 1).

  1. Convergența aproape sigură. Ipoteza LNM tari (Teorema 61 din Cursul 1) este ca observațiile să fie i.i.d. și integrabile. Integrabilitatea rezultă din \(\sigma^2<\infty\): din inegalitatea Cauchy–Schwarz (Propoziția 27 din Cursul 1, aplicată variabilelor \(|X_1|\) și \(1\)), \[ \E|X_1|=\E\big[|X_1|\cdot1\big]\le\sqrt{\E[X_1^2]\cdot\E[1^2]}=\sqrt{\sigma^2+\mu^2}<\infty . \] Deci \(\Xbar\asto\E[X_1]=\mu\).

Convergența în repartiție, cazul \(\sigma^2>0\). Ipotezele TLC (Teorema 64 din Cursul 1) sunt îndeplinite: observațiile sunt i.i.d., cu varianța \(\sigma^2\in(0,\infty)\). Deci \(Z_n=\sqrt n(\Xbar-\mu)/\sigma\dto Z\sim\Norm(0,1)\). Funcția \(g(x)=\sigma x\) este continuă pe \(\R\), deci, din teorema aplicațiilor continue (Teorema 57(c) din Cursul 1), \(\sqrt n(\Xbar-\mu)=g(Z_n)\dto g(Z)=\sigma Z\), iar \(\sigma Z\sim\Norm(0,\sigma^2)\) (Propoziția 18(b) din Cursul 1).

Cazul \(\sigma^2=0\). O variabilă cu varianța nulă este constantă a.s. (consecința inegalității lui Cebîșev, Propoziția 26(b) din Cursul 1: \(\PP(|X_i-\mu|\ge\frac1k)\le k^2\cdot0=0\) pentru orice \(k\ge1\)), deci \(X_i=\mu\) a.s. pentru fiecare \(i\). Atunci \(\Xbar=\mu\) a.s. și \(\sqrt n(\Xbar-\mu)=0\) a.s. pentru orice \(n\), iar limita este repartiția degenerată în \(0\), pe care o notăm \(\Norm(0,0)\).■

Cum se citește propoziția. Punctul (a) spune că \(\Xbar\) „țintește” corect media populației, iar împrăștierea ei în jurul lui \(\mu\) scade când \(n\) crește; punctul (b) spune că, pentru \(n\) mare, \(\Xbar\) este aproape de \(\mu\) și că abaterea \(\Xbar-\mu\), mărită de \(\sqrt n\) ori, are aproximativ repartiția \(\Norm(0,\sigma^2)\), oricare ar fi populația.

Exemplul 1 (Proporția de succese)

Fie \(X_1,\dots,X_n\) un eșantion din \(\Bern(\theta)\) (de exemplu, \(X_i=1\) dacă al \(i\)-lea client chestionat preferă un produs). Atunci \(\Xbar=\frac1n\sum_iX_i\) este proporția de succese din eșantion.

Momentele populației. \(\E[X_1]=1\cdot\theta+0\cdot(1-\theta)=\theta\); cum \(X_1^2=X_1\) (valorile sunt \(0\) și \(1\)), \(\E[X_1^2]=\theta\) și \(\sigma^2=\Var(X_1)=\E[X_1^2]-(\E[X_1])^2=\theta-\theta^2=\theta(1-\theta)\) (Propoziția 25(a) din Cursul 1).

Aplicăm Propoziția 2(a). \(\E[\Xbar]=\theta\) și \(\Var(\Xbar)=\dfrac{\theta(1-\theta)}{n}\). Pentru \(\theta=0.3\) și \(n=100\), abaterea standard a lui \(\Xbar\) este \(\sqrt{0.3\cdot0.7/100}=\sqrt{0.0021}\approx0.0458\), iar pentru \(n=400\) ea se înjumătățește: \(\sqrt{0.21/400}\approx0.0229\).

O probabilitate. Care este probabilitatea ca proporția observată să fie cel mult \(0.25\), deși \(\theta=0.3\)? Aici repartiția exactă este cunoscută: \(n\Xbar=\sum_iX_i\sim\Bin(100,0.3)\) (Propoziția 12(a) din Cursul 2), deci \(\PP(\Xbar\le0.25)=\PP\big(\Bin(100,0.3)\le25\big)\approx0.1631\). Aproximarea normală dată de punctul (b), \(\Xbar\approx\Norm(0.3,\,0.0021)\), dă \[ \PP(\Xbar\le0.25)\approx\Phi\Big(\frac{0.25-0.3}{0.0458}\Big)=\Phi(-1.091)\approx0.1376 . \] Interpretare. Aproximativ un eșantion din șase subestimează proporția cu cel puțin \(5\) puncte procentuale. Aproximarea normală dă ordinul de mărime corect, dar pentru o statistică discretă și \(n=100\) ea nu este foarte precisă; vom reveni asupra preciziei aproximărilor în Cursul 12.

c(se = sqrt(0.3 * 0.7 / 100), exact = pbinom(25, 100, 0.3),
  normal = pnorm((0.25 - 0.3) / sqrt(0.3 * 0.7 / 100)))
#>      se   exact  normal 
#> 0.04583 0.16313 0.13762

Mărimea \(\sigma/\sqrt n\), abaterea standard a lui \(\Xbar\), se numește eroarea standard a mediei. Ea descrește ca \(1/\sqrt n\): pentru a înjumătăți eroarea standard trebuie să cvadruplăm volumul eșantionului. Afirmația (b) justifică aproximarea practică \(\Xbar\approx\Norm(\mu,\sigma^2/n)\) pentru \(n\) mare; pentru o populație normală această relație este chiar exactă (Propoziția 12(d) din Cursul 2).

Exemplul 2 (Câte observații sunt necesare)

O populație are abaterea standard \(\sigma=10\). Cât de mare trebuie să fie \(n\) pentru ca media eșantionului să difere de \(\mu\) cu cel mult \(1\), cu probabilitatea (aproximativ) \(0.95\)?

Rezolvare cu aproximarea normală. Din Propoziția 2(b), \(Z=\sqrt n(\Xbar-\mu)/\sigma\approx\Norm(0,1)\). Înmulțind inegalitatea \(|\Xbar-\mu|\le1\) cu \(\sqrt n/\sigma=\sqrt n/10>0\) și folosind \(\PP(|Z|\le a)=\Phi(a)-\Phi(-a)=2\Phi(a)-1\) (din simetria \(\Phi(-a)=1-\Phi(a)\)), \[ \PP\big(|\Xbar-\mu|\le1\big)=\PP\Big(|Z|\le\frac{\sqrt n}{10}\Big)\approx2\Phi\Big(\frac{\sqrt n}{10}\Big)-1 . \] Cerința \(2\Phi\big(\frac{\sqrt n}{10}\big)-1\ge0.95\) se rescrie, \(\Phi\) fiind strict crescătoare, \[ \Phi\Big(\frac{\sqrt n}{10}\Big)\ge0.975\iff\frac{\sqrt n}{10}\ge z_{0.975}\approx1.96, \] adică \(\sqrt n\ge19.6\) și \(n\ge19.6^2=384.16\): sunt necesare \(n=385\) de observații.

Rezolvare cu inegalitatea lui Cebîșev. Fără nicio informație despre forma repartiției, Propoziția 26(b) din Cursul 1, aplicată variabilei \(\Xbar\) (cu media \(\mu\) și varianța \(\sigma^2/n=100/n\), Propoziția 2(a)) și lui \(\varepsilon=1\), dă \[ \PP\big(|\Xbar-\mu|>1\big)\le\PP\big(|\Xbar-\mu|\ge1\big)\le\frac{\Var(\Xbar)}{1^2}=\frac{100}{n}, \] iar condiția \(100/n\le0.05\) cere \(n\ge2000\).

Interpretare. Diferența (de peste 5 ori) arată cât câștigăm cunoscând (măcar aproximativ) repartiția de eșantionare; inegalitatea lui Cebîșev este valabilă pentru orice populație, dar este foarte pesimistă. Simularea confirmă că, pentru o populație exponențială de medie \(10\) (deci \(\sigma=10\)), \(n=385\) asigură o probabilitate apropiată de \(0.95\):

n_normal <- ceiling((qnorm(0.975) * 10 / 1)^2)   # din aproximarea normală
n_cebisev <- 100 / 0.05                          # din inegalitatea Cebîșev
set.seed(1)
xbar <- colMeans(matrix(rexp(385 * 20000, rate = 1 / 10), nrow = 385))
c(n_normal = n_normal, n_cebisev = n_cebisev,
  P_simulat = mean(abs(xbar - 10) <= 1))         # aproape 0.95
#>  n_normal n_cebisev P_simulat 
#>    385.00   2000.00      0.95

2.2 Varianța empirică și varianța eșantionului

Cum \(\sigma^2=\E[(X-\mu)^2]\), un estimator natural al lui \(\sigma^2\) ar fi \(\frac1n\sum_i(X_i-\mu)^2\). Media \(\mu\) fiind de regulă necunoscută, o înlocuim cu \(\Xbar\).

Definiția 3 (Varianța empirică și varianța eșantionului)

Se numește varianța empirică statistica \[ V_n^2=\frac1n\sum_{i=1}^n\big(X_i-\Xbar\big)^2, \] iar varianța eșantionului statistica \[ S_n^2=\frac1{n-1}\sum_{i=1}^n\big(X_i-\Xbar\big)^2=\frac{n}{n-1}V_n^2,\qquad n\ge2 . \] Rădăcinile pătrate \(V_n\) și \(S_n\) se numesc abaterea standard empirică, respectiv abaterea standard a eșantionului. În R, var(x) și sd(x) calculează \(s_n^2\) și \(s_n\) (cu factorul \(\frac1{n-1}\)).

Vom vedea imediat de ce se preferă factorul \(\frac1{n-1}\). Următoarea identitate algebrică este folosită în mod repetat în acest curs.

Lema 4 (Descompunerea sumei de pătrate)

Pentru orice numere reale \(x_1,\dots,x_n\) și orice \(a\in\R\), \[ \sum_{i=1}^n(x_i-a)^2=\sum_{i=1}^n(x_i-\bar x_n)^2+n(\bar x_n-a)^2 . \tag{1}\] În particular, \(\sum_i(x_i-\bar x_n)^2=\sum_ix_i^2-n\bar x_n^2\), iar funcția \(a\mapsto\sum_i(x_i-a)^2\) își atinge minimul (unic) în \(a=\bar x_n\).

Demonstrație. Ideea demonstrației. Adunăm și scădem \(\bar x_n\) în fiecare paranteză și dezvoltăm pătratul; termenul mixt dispare, deoarece abaterile de la medie au suma nulă.

Scriem \(x_i-a=(x_i-\bar x_n)+(\bar x_n-a)\). Ridicând la pătrat cu \((u+v)^2=u^2+2uv+v^2\) și sumând, \[ \begin{aligned} \sum_{i=1}^n(x_i-a)^2&=\sum_{i=1}^n\Big[(x_i-\bar x_n)^2+2(x_i-\bar x_n)(\bar x_n-a)+(\bar x_n-a)^2\Big]\\ &=\sum_{i=1}^n(x_i-\bar x_n)^2+2(\bar x_n-a)\sum_{i=1}^n(x_i-\bar x_n)+n(\bar x_n-a)^2, \end{aligned} \] unde în termenul din mijloc am scos factorul \(\bar x_n-a\), care nu depinde de \(i\), iar ultimul termen este suma a \(n\) termeni egali. Termenul din mijloc este nul, deoarece abaterile de la medie au suma zero: \[ \sum_{i=1}^n(x_i-\bar x_n)=\sum_{i=1}^nx_i-n\bar x_n=n\bar x_n-n\bar x_n=0 . \] Aceasta demonstrează (1). Pentru \(a=0\) obținem \(\sum_ix_i^2=\sum_i(x_i-\bar x_n)^2+n\bar x_n^2\), adică a doua formulă. În fine, în membrul drept al lui (1) primul termen nu depinde de \(a\), iar al doilea, \(n(\bar x_n-a)^2\), este nenegativ și se anulează numai pentru \(a=\bar x_n\).■

Exemplul 3 (Media și varianța pe un set mic de date)

Fie observațiile \(x=(2,\,4,\,4,\,5,\,7,\,8)\), deci \(n=6\).

Media. \(\bar x_6=\frac{2+4+4+5+7+8}{6}=\frac{30}6=5\).

Abaterile și pătratele lor. \(x_i-\bar x_6\) sunt \(-3,-1,-1,0,2,3\) (cu suma \(0\), cum trebuie), iar pătratele lor sunt \(9,1,1,0,4,9\), cu suma \(\sum_i(x_i-\bar x_6)^2=24\). Deci \[ v_6^2=\frac{24}{6}=4,\qquad s_6^2=\frac{24}{5}=4.8,\qquad s_6=\sqrt{4.8}\approx2.191 . \]

Verificarea Lemei 4. Cu \(a=0\): \(\sum_ix_i^2=4+16+16+25+49+64=174\) și \(174-6\cdot5^2=24\), aceeași sumă (formula „suma pătratelor minus \(n\) ori pătratul mediei”, comodă pentru calculul de mână). Cu \(a=4\): \(\sum_i(x_i-4)^2=4+0+0+1+9+16=30\), iar membrul drept al relației (1) este \(24+6\,(5-4)^2=30\). Orice alt punct \(a\) dă o sumă mai mare decât \(24\), valoarea obținută pentru \(a=\bar x_6=5\).

x <- c(2, 4, 4, 5, 7, 8)
c(media = mean(x), s2 = var(x), v2 = mean((x - mean(x))^2), s = sd(x))
#> media    s2    v2     s 
#> 5.000 4.800 4.000 2.191

Aplicând (1) valorilor \(X_1(\omega),\dots,X_n(\omega)\), o dată cu \(a=0\) și o dată cu \(a=\mu\), și împărțind la \(n\), obținem pentru eșantionul aleator cele două reprezentări ale varianței empirice pe care le vom folosi mai jos: \[ V_n^2=\frac1n\sum_{i=1}^nX_i^2-\Xbar^2=\frac1n\sum_{i=1}^n(X_i-\mu)^2-(\Xbar-\mu)^2 . \tag{2}\]

Propoziția 5 (Media varianței empirice și a varianței eșantionului)

Fie \(X_1,\dots,X_n\), \(n\ge2\), un eșantion dintr-o populație cu media \(\mu\) și varianța \(\sigma^2<\infty\). Atunci \[ \E\big[V_n^2\big]=\frac{n-1}{n}\,\sigma^2\qquad\text{și}\qquad \E\big[S_n^2\big]=\sigma^2 . \]

Demonstrație. Folosim a doua reprezentare din (2); toate variabilele din membrul drept sunt integrabile (\(\E[X_1^2]<\infty\)), deci putem aplica liniaritatea mediei: \[ \begin{aligned} \E\big[V_n^2\big]&=\frac1n\sum_{i=1}^n\E\big[(X_i-\mu)^2\big]-\E\big[(\Xbar-\mu)^2\big]\\ &=\frac1n\sum_{i=1}^n\Var(X_i)-\Var(\Xbar)\qquad(\text{deoarece }\E[X_i]=\E[\Xbar]=\mu)\\ &=\frac1n\cdot n\sigma^2-\frac{\sigma^2}{n}=\frac{n-1}{n}\,\sigma^2, \end{aligned} \] unde în ultimul pas am folosit Propoziția 2(a). Cum \(S_n^2=\frac{n}{n-1}V_n^2\), din liniaritate \(\E[S_n^2]=\frac{n}{n-1}\cdot\frac{n-1}{n}\sigma^2=\sigma^2\). Independența a intervenit doar prin formula \(\Var(\Xbar)=\sigma^2/n\).■

Așadar \(V_n^2\) subestimează sistematic varianța populației, în medie cu \(\sigma^2-\frac{n-1}n\sigma^2=\sigma^2/n\), pe când \(S_n^2\) este un estimator nedeplasat al lui \(\sigma^2\) (noțiune studiată în Cursul 7). Intuitiv, abaterile se măsoară față de \(\Xbar\), care este chiar punctul ce minimizează suma pătratelor (Lema 4), deci \(\sum_i(X_i-\Xbar)^2\le\sum_i(X_i-\mu)^2\). Numărul \(n-1\) se numește numărul de grade de libertate al sumei \(\sum_i(X_i-\Xbar)^2\): cele \(n\) abateri \(X_i-\Xbar\) verifică relația \(\sum_i(X_i-\Xbar)=0\), deci doar \(n-1\) dintre ele sunt „libere”. Teorema lui Fisher (Secțiunea 4) va da acestei expresii un sens precis. O altă explicație a factorului \(\frac1{n-1}\) apare în Exercițiul 2: \(S_n^2\) este media, peste toate perechile de observații distincte, a mărimii \(\frac12(X_i-X_j)^2\).

Atenție!

Nedeplasarea nu se conservă prin transformări neliniare: deși \(\E[S_n^2]=\sigma^2\), avem \[ 0\le\Var(S_n)=\E[S_n^2]-\big(\E[S_n]\big)^2=\sigma^2-\big(\E[S_n]\big)^2, \] deci \(\E[S_n]\le\sigma\), cu egalitate dacă și numai dacă \(S_n\) este constantă a.s. (același rezultat decurge din inegalitatea lui Jensen pentru funcția concavă \(x\mapsto\sqrt x\)). Abaterea standard a eșantionului subestimează, în medie, abaterea standard a populației; pentru populații normale vom calcula exact \(\E[S_n]\) (Corolarul 17).

Verificăm prin simulare nedeplasarea lui \(S_n^2\) și deplasarea lui \(V_n^2\), pentru eșantioane de volum \(n=4\) dintr-o populație uniformă \(\Unif(0,1)\) (\(\sigma^2=1/12\approx0.0833\)):

set.seed(2)
X <- matrix(runif(4 * 1e5), ncol = 4)          # 1e5 eșantioane de volum 4
s2 <- apply(X, 1, var)                         # varianțele eșantioanelor
c(E_S2 = mean(s2), E_V2 = mean(s2 * 3 / 4),    # V_n^2 = (n-1)/n * S_n^2
  sigma2 = 1 / 12, teoretic_V2 = 3 / 4 / 12)
#>        E_S2        E_V2      sigma2 teoretic_V2 
#>     0.08350     0.06263     0.08333     0.06250

Media valorilor simulate ale lui \(S_4^2\) este practic \(1/12\), iar a lui \(V_4^2\) este apropiată de \(\frac34\cdot\frac1{12}=0.0625\).

2.3 Varianța lui \(S_n^2\) și covarianța cu \(\Xbar\)

Media lui \(S_n^2\) nu spune cât de precis este acest estimator. Pentru \(n\) fixat putem calcula exact varianța sa, precum și covarianța cu media eșantionului, în funcție de momentele centrate \(\mu_3\) și \(\mu_4\) ale populației. Principiul de calcul pe care îl vom folosi este următorul: dacă \(Z_1,\dots,Z_n\) sunt independente și centrate, media unui produs de variabile \(Z\) în care un indice apare exact o dată este nulă, deoarece factorul respectiv este independent de produsul celorlalți și are media \(0\) (Propoziția 40 din Cursul 1).

Propoziția 6 (Varianța varianței eșantionului)

Fie \(X_1,\dots,X_n\), \(n\ge2\), un eșantion dintr-o populație cu varianța \(\sigma^2\) și momentul centrat de ordinul 4 \(\mu_4<\infty\). Atunci \[ \Var\big(S_n^2\big)=\frac1n\Big(\mu_4-\frac{n-3}{n-1}\,\sigma^4\Big). \tag{3}\]

Demonstrație. Ideea demonstrației. Centrăm observațiile (\(Z_i=X_i-\mu\)) și scriem \((n-1)S_n^2\) ca o combinație liniară a două sume: \(A=\sum_iZ_i^2\) (pătratele) și \(B=\sum_{i<j}Z_iZ_j\) (produsele mixte). Calculăm apoi \(\Var(A)\), \(\Var(B)\) și \(\Cov(A,B)\) dezvoltând produsele și păstrând doar termenii în care niciun indice nu apare exact o dată; ceilalți au media nulă.

Pasul 1: reducerea la variabile centrate. Fie \(Z_i=X_i-\mu\). Variabilele \(Z_1,\dots,Z_n\) sunt i.i.d. (funcții de variabile independente, Propoziția 39 din Cursul 1), cu \(\E[Z_i]=0\), \(\E[Z_i^2]=\sigma^2\), \(\E[Z_i^3]=\mu_3\) și \(\E[Z_i^4]=\mu_4\) (momentul de ordinul 3 există, deoarece \(|z|^3\le1+z^4\): pentru \(|z|\le1\), \(|z|^3\le1\), iar pentru \(|z|>1\), \(|z|^3\le z^4\)). Toate produsele de cel mult patru variabile \(Z\) care apar mai jos sunt integrabile: din inegalitatea mediilor, \(|z_1z_2z_3z_4|\le\frac14\big(z_1^4+z_2^4+z_3^4+z_4^4\big)\), deci \(\E|Z_iZ_jZ_kZ_l|\le\mu_4<\infty\) pentru orice indici (la fel pentru produsele de două și de trei variabile, cu \(|z_1z_2|\le\frac12(z_1^2+z_2^2)\) și \(|z_1z_2z_3|\le\frac13(|z_1|^3+|z_2|^3+|z_3|^3)\)). Putem deci folosi liniaritatea mediei și principiul enunțat înaintea propoziției.

Cum \(\Xbar=\mu+\bar Z_n\), avem \(X_i-\Xbar=Z_i-\bar Z_n\): varianța eșantionului nu se schimbă prin translație, iar din Lema 4 (cu \(a=0\), aplicată valorilor \(Z_i\)), \[ (n-1)S_n^2=\sum_{i=1}^n\big(Z_i-\bar Z_n\big)^2=\sum_{i=1}^nZ_i^2-n\bar Z_n^2=\sum_{i=1}^nZ_i^2-\frac1n\Big(\sum_{i=1}^nZ_i\Big)^2 . \] Dezvoltând pătratul sumei, \(\big(\sum_iZ_i\big)^2=\sum_iZ_i^2+2\sum_{i<j}Z_iZ_j\). Notând \[ A=\sum_{i=1}^nZ_i^2,\qquad B=\sum_{1\le i<j\le n}Z_iZ_j, \] obținem \[ (n-1)S_n^2=A-\frac1n\big(A+2B\big)=\frac{n-1}{n}\,A-\frac2n\,B . \tag{4}\]

Pasul 2: varianța lui \(A\). Variabilele \(Z_1^2,\dots,Z_n^2\) sunt independente (Propoziția 39 din Cursul 1), deci varianța sumei lor este suma varianțelor: \[ \Var(A)=\sum_{i=1}^n\Var(Z_i^2)=n\Big(\E[Z_1^4]-\big(\E[Z_1^2]\big)^2\Big)=n\big(\mu_4-\sigma^4\big). \]

Pasul 3: media și varianța lui \(B\). Pentru \(i<j\), \(\E[Z_iZ_j]=\E[Z_i]\E[Z_j]=0\), deci \(\E[B]=0\) și \(\Var(B)=\E[B^2]\). Dezvoltând pătratul, \[ \E[B^2]=\sum_{i<j}\ \sum_{k<l}\E\big[Z_iZ_jZ_kZ_l\big]. \] Dacă \((i,j)=(k,l)\), termenul este \(\E[Z_i^2Z_j^2]=\E[Z_i^2]\E[Z_j^2]=\sigma^4\) (\(Z_i^2\) și \(Z_j^2\) sunt independente, deoarece \(i\ne j\); Propoziția 40 din Cursul 1). Dacă \((i,j)\ne(k,l)\), mulțimile \(\{i,j\}\) și \(\{k,l\}\) sunt diferite (perechile sunt ordonate crescător, deci o pereche este determinată de mulțimea elementelor ei) și au câte două elemente, deci una dintre ele conține un indice \(m\) care nu apare în cealaltă; cum \(i\ne j\) și \(k\ne l\), indicele \(m\) apare exact o dată în produsul \(Z_iZ_jZ_kZ_l\). Atunci \(Z_m\) este independentă de produsul \(P\) al celorlalți trei factori (funcție de variabile cu indici diferiți de \(m\)), iar termenul este \(\E[Z_m]\,\E[P]=0\). Rămân cei \(\binom n2=\frac{n(n-1)}2\) termeni „diagonali”, fiecare egal cu \(\sigma^4\): \[ \Var(B)=\frac{n(n-1)}{2}\,\sigma^4 . \]

Pasul 4: covarianța lui \(A\) și \(B\). Cum \(\E[B]=0\), \(\Cov(A,B)=\E[AB]=\sum_{k=1}^n\sum_{i<j}\E\big[Z_k^2Z_iZ_j\big]\). Dacă \(k\notin\{i,j\}\), termenul este \(\E[Z_k^2]\E[Z_i]\E[Z_j]=0\); dacă \(k=i\), el este \(\E[Z_i^3]\E[Z_j]=0\), iar dacă \(k=j\), \(\E[Z_i]\E[Z_j^3]=0\). Deci \(\Cov(A,B)=0\).

Pasul 5: asamblarea. Din (4), cu \(a=\frac{n-1}n\) și \(b=-\frac2n\), din \(\Var(aA+bB)=a^2\Var(A)+b^2\Var(B)+2ab\Cov(A,B)\) (Propoziția 42(b) din Cursul 1) și din pașii 2–4, \[ \begin{aligned} (n-1)^2\Var\big(S_n^2\big)&=\Var\big((n-1)S_n^2\big)=\Big(\frac{n-1}{n}\Big)^2\Var(A)+\frac{4}{n^2}\Var(B)-\frac{4(n-1)}{n^2}\Cov(A,B)\\ &=\Big(\frac{n-1}{n}\Big)^2n\big(\mu_4-\sigma^4\big)+\frac{4}{n^2}\cdot\frac{n(n-1)}2\,\sigma^4-0\\ &=\frac{(n-1)^2}{n}\big(\mu_4-\sigma^4\big)+\frac{2(n-1)}{n}\,\sigma^4 . \end{aligned} \] Împărțind la \((n-1)^2\), \[ \Var(S_n^2)=\frac{\mu_4-\sigma^4}{n}+\frac{2\sigma^4}{n(n-1)}=\frac1n\Big(\mu_4-\Big(1-\frac2{n-1}\Big)\sigma^4\Big)=\frac1n\Big(\mu_4-\frac{n-3}{n-1}\sigma^4\Big), \] deoarece \(1-\frac{2}{n-1}=\frac{n-3}{n-1}\).■

Pentru o populație normală, \(X_1=\mu+\sigma Z\) cu \(Z\sim\Norm(0,1)\), deci \(\mu_4=\E[(\sigma Z)^4]=\sigma^4\,\E[Z^4]=3\sigma^4\) (Exemplul 23 din Cursul 1; vezi și Propoziția 13(ii)), și (3) devine \[ \Var(S_n^2)=\frac1n\Big(3-\frac{n-3}{n-1}\Big)\sigma^4=\frac1n\cdot\frac{3(n-1)-(n-3)}{n-1}\,\sigma^4=\frac{2\sigma^4}{n-1}; \] vom regăsi acest rezultat, pe altă cale, din teorema lui Fisher.

Propoziția 7 (Covarianța dintre media și varianța eșantionului)

Fie \(X_1,\dots,X_n\), \(n\ge2\), un eșantion dintr-o populație cu momentul centrat de ordinul 3 \(\mu_3\) finit. Atunci \[ \Cov\big(\Xbar,S_n^2\big)=\frac{\mu_3}{n}. \] În particular, pentru populații simetrice (\(\mu_3=0\)), \(\Xbar\) și \(S_n^2\) sunt necorelate.

Demonstrație. Ideea demonstrației. După centrare, covarianța se reduce la două medii de produse de câte trei variabile \(Z\), \(\E\big[\bar Z_n\sum_iZ_i^2\big]\) și \(\E\big[\bar Z_n^3\big]\); în fiecare supraviețuiesc doar termenii cu toți indicii egali, care valorează \(\mu_3\).

Pasul 1: reducerea. Cu notațiile din demonstrația precedentă (\(Z_i=X_i-\mu\), i.i.d., centrate, cu \(\E[Z_i^2]=\sigma^2\) și \(\E[Z_i^3]=\mu_3\); aici \(\E|Z_i|^3<\infty\) prin ipoteză, deci și \(\sigma^2<\infty\), deoarece \(z^2\le1+|z|^3\)), \(\Xbar-\mu=\bar Z_n\), \(\E[\bar Z_n]=0\) și \((n-1)S_n^2=\sum_iZ_i^2-n\bar Z_n^2\). Folosim \(\Cov(U,V)=\E[UV]-\E[U]\E[V]\); dacă \(\mu_4=\infty\), \(S_n^2\) nu are moment de ordinul doi, dar pentru \(U=\Xbar\) și \(V=S_n^2\) această expresie rămâne bine definită (mediile care apar sunt finite, cum arătăm mai jos) și o luăm drept definiție a covarianței. Ea nu se schimbă dacă adunăm o constantă \(c\) la \(U\): din liniaritatea mediei, \(\E[(U+c)V]-\E[U+c]\,\E[V]=\E[UV]-\E[U]\E[V]\). Deci \(\Cov(\Xbar,S_n^2)=\Cov(\bar Z_n,S_n^2)\) și \[ \begin{aligned} (n-1)\Cov(\Xbar,S_n^2)&=\Cov\Big(\bar Z_n,\ \sum_{i=1}^nZ_i^2-n\bar Z_n^2\Big)\\ &=\E\Big[\bar Z_n\Big(\sum_{i=1}^nZ_i^2-n\bar Z_n^2\Big)\Big]-\underbrace{\E[\bar Z_n]}_{=0}\,\E\big[(n-1)S_n^2\big]\\ &=\E\Big[\bar Z_n\sum_{i=1}^nZ_i^2\Big]-n\,\E\big[\bar Z_n^3\big]. \end{aligned} \] Mediile sunt finite, deoarece \(|Z_iZ_jZ_k|\le\frac13\big(|Z_i|^3+|Z_j|^3+|Z_k|^3\big)\) (inegalitatea mediilor).

Pasul 2: primul termen. Scriind \(\bar Z_n=\frac1n\sum_jZ_j\), \(\E\big[\bar Z_n\sum_iZ_i^2\big]=\frac1n\sum_{j=1}^n\sum_{i=1}^n\E\big[Z_jZ_i^2\big]\). Pentru \(j\ne i\), \(\E[Z_jZ_i^2]=\E[Z_j]\E[Z_i^2]=0\); pentru \(j=i\), \(\E[Z_i^3]=\mu_3\). Rămân \(n\) termeni egali cu \(\mu_3\), deci primul termen este \(\frac1n\cdot n\mu_3=\mu_3\).

Pasul 3: al doilea termen. \(\E\big[\bar Z_n^3\big]=\frac1{n^3}\sum_{i,j,k}\E\big[Z_iZ_jZ_k\big]\). Dacă indicii \(i,j,k\) nu sunt toți egali, unul dintre ei apare exact o dată (cu trei indici, fie toți sunt egali, fie doi sunt egali și al treilea diferit, fie toți sunt diferiți), iar termenul este nul. Rămân cei \(n\) termeni cu \(i=j=k\), deci \(\E[\bar Z_n^3]=\frac{n\mu_3}{n^3}=\frac{\mu_3}{n^2}\).

Pasul 4: concluzia. \((n-1)\Cov(\Xbar,S_n^2)=\mu_3-n\cdot\frac{\mu_3}{n^2}=\mu_3\big(1-\frac1n\big)=\frac{(n-1)\mu_3}{n}\); împărțim la \(n-1\).■

Covarianța tinde la \(0\), dar la fel și varianțele: coeficientul de corelație, \[ \Corr(\Xbar,S_n^2)=\frac{\mu_3/n}{\sqrt{\dfrac{\sigma^2}{n}\cdot\dfrac1n\Big(\mu_4-\dfrac{n-3}{n-1}\sigma^4\Big)}} =\frac{\mu_3}{\sigma\sqrt{\mu_4-\frac{n-3}{n-1}\sigma^4}}\ \xrightarrow[n\to\infty]{}\ \frac{\mu_3}{\sigma\sqrt{\mu_4-\sigma^4}}=\frac{\gamma_1}{\sqrt{\gamma_2+2}}, \] unde \(\gamma_1=\mu_3/\sigma^3\) este coeficientul de asimetrie, iar \(\gamma_2=\mu_4/\sigma^4-3\) cel de aplatizare (exces), nu tinde la \(0\) pentru populațiile asimetrice. (În prima egalitate am simplificat factorul \(\frac1n\): numitorul este \(\frac{\sigma}{n}\sqrt{\mu_4-\frac{n-3}{n-1}\sigma^4}\); limita rezultă din \(\frac{n-3}{n-1}\to1\), iar ultima egalitate din \(\mu_3=\gamma_1\sigma^3\) și \(\mu_4-\sigma^4=(\gamma_2+3)\sigma^4-\sigma^4=(\gamma_2+2)\sigma^4\). Presupunem \(\mu_4>\sigma^4\), adică \((X_1-\mu)^2\) neconstantă.) Pentru populațiile simetrice, \(\Xbar\) și \(S_n^2\) sunt necorelate pentru orice \(n\), dar în general nu sunt independente. De exemplu, pentru o populație \(\Bern(1/2)\) (simetrică față de \(\frac12\), deci \(\mu_3=0\)) avem \(X_i^2=X_i\), deci, din (2), \(V_n^2=\frac1n\sum_iX_i-\Xbar^2=\Xbar(1-\Xbar)\) și \(S_n^2=\frac{n}{n-1}\Xbar(1-\Xbar)\) este o funcție de \(\Xbar\): cele două statistici sunt necorelate, dar una o determină pe cealaltă. (Dacă ar fi independente, \(S_n^2\) ar fi independentă de ea însăși, ca funcție de \(\Xbar\), deci \(\PP(S_n^2\in D)=\PP(S_n^2\in D)^2\in\{0,1\}\) pentru orice borelian \(D\), adică \(S_n^2\) ar fi constantă a.s.; dar \(S_n^2\) ia valoarea \(0\) când toate observațiile coincid și valori strict pozitive altfel, ambele cu probabilitate nenulă.) Vom vedea că independența are loc pentru populațiile normale (Secțiunea 4).

Exemplul 4 (Populație exponențială)

Fie \(X_1,\dots,X_n\) un eșantion din \(\Exp(1)\), cu \(\mu=\sigma^2=1\). Calculăm momentele centrate \(\mu_3\), \(\mu_4\) și aplicăm Propozițiile 6 și 7 pentru \(n=10\).

Momentele. Cum \(\Exp(1)=\GammaD(1,1)\), din formula momentelor repartiției Gamma (Exemplul 16 din Cursul 1; o reluăm mai jos, în Propoziția 10(i)) cu \(\alpha=\lambda=1\), pentru \(k\in\N\), \[ m_k=\E[X^k]=\frac{\Gamma(1+k)}{\Gamma(1)\cdot1^k}=k!,\qquad\text{adică}\quad m_1=1,\ m_2=2,\ m_3=6,\ m_4=24 . \] Din binomul lui Newton, \((X-1)^3=X^3-3X^2+3X-1\) și \((X-1)^4=X^4-4X^3+6X^2-4X+1\), deci, din liniaritatea mediei, \[ \begin{aligned} \mu_3&=m_3-3m_2+3m_1-1=6-3\cdot2+3\cdot1-1=2,\\ \mu_4&=m_4-4m_3+6m_2-4m_1+1=24-4\cdot6+6\cdot2-4\cdot1+1=9 . \end{aligned} \] Așadar \(\gamma_1=2\) și \(\gamma_2=9-3=6\): repartiția este puternic asimetrică și are cozi mai grele decât normala.

Varianța și corelația. Pentru \(n=10\), \(\frac{n-3}{n-1}=\frac79\), deci \[ \Var(S_{10}^2)=\frac1{10}\Big(9-\frac79\Big)=\frac1{10}\cdot\frac{74}{9}=\frac{37}{45}\approx0.8222,\qquad\Cov(\bar X_{10},S_{10}^2)=\frac{2}{10}=0.2, \] iar, cu \(\Var(\bar X_{10})=0.1\), \(\Corr(\bar X_{10},S_{10}^2)=0.2/\sqrt{0.1\cdot37/45}\approx0.6975\). Pentru o populație normală cu aceeași varianță am avea \(\Var(S_{10}^2)=2/9\approx0.2222\) (de \(3.7\) ori mai puțin) și corelația \(0\). Limita corelației este \(\gamma_1/\sqrt{\gamma_2+2}=2/\sqrt8\approx0.707\).

Interpretare. Eșantioanele care conțin o valoare mare (în coada lungă din dreapta) au simultan o medie mare și o varianță mare; varianța eșantionului este mult mai instabilă decât pentru o populație normală. Verificăm prin simulare, cu \(50\,000\) de eșantioane de volum \(10\):

set.seed(11)
n <- 10; B <- 50000
X  <- matrix(rexp(n * B, rate = 1), nrow = B)   # câte un eșantion pe linie
m  <- rowMeans(X); s2 <- apply(X, 1, var)
c(E_S2 = mean(s2), Var_S2 = var(s2), teoretic = 37 / 45,
  Cov = cov(m, s2), teoretic = 0.2,
  Corr = cor(m, s2), teoretic = 0.2 / sqrt(0.1 * 37 / 45))
#>     E_S2   Var_S2 teoretic      Cov teoretic     Corr teoretic 
#>   0.9951   0.8258   0.8222   0.2013   0.2000   0.6987   0.6975

2.4 Comportamentul asimptotic al varianței eșantionului

Încheiem studiul populațiilor oarecare cu comportamentul lui \(S_n^2\) pentru \(n\) mare. Varianța eșantionului se comportă ca media eșantionului (Propoziția 2(b)): este consistentă și asimptotic normală, cu o varianță asimptotică ce depinde de momentul de ordinul 4.

Propoziția 8 (Consistența și normalitatea asimptotică a varianței eșantionului)

Fie \(X_1,X_2,\dots\) i.i.d. cu media \(\mu\) și varianța \(\sigma^2<\infty\). Atunci \(V_n^2\asto\sigma^2\) și \(S_n^2\asto\sigma^2\). Dacă, în plus, \(\mu_4<\infty\), atunci \[ \sqrt n\big(V_n^2-\sigma^2\big)\dto\Norm(0,v^2)\qquad\text{și}\qquad\sqrt n\big(S_n^2-\sigma^2\big)\dto\Norm(0,v^2),\qquad v^2=\mu_4-\sigma^4 . \]

Demonstrație. Ideea demonstrației. \(V_n^2\) este o medie de variabile i.i.d. (pătratele \((X_i-\mu)^2\)) minus termenul \((\Xbar-\mu)^2\). Media se tratează cu LNM și TLC, iar termenul de corecție, de ordinul \(1/n\), este neglijabil chiar după înmulțirea cu \(\sqrt n\); lema lui Slutsky le combină. Trecerea de la \(V_n^2\) la \(S_n^2\) costă doar factorul \(\frac{n}{n-1}\to1\).

Pasul 1: consistența. Din prima reprezentare din (2), \(V_n^2=\frac1n\sum_iX_i^2-\Xbar^2\). Șirul \((X_i^2)_i\) este i.i.d. (Propoziția 39 din Cursul 1) și integrabil (\(\E[X_1^2]=\Var(X_1)+(\E[X_1])^2=\sigma^2+\mu^2<\infty\)), deci, din LNM tare (Teorema 61 din Cursul 1), \(\frac1n\sum_iX_i^2\asto\sigma^2+\mu^2\); tot din LNM, \(\Xbar\asto\mu\) (Propoziția 2(b)), iar din teorema aplicațiilor continue (Teorema 57(a) din Cursul 1, cu \(g(x)=x^2\)), \(\Xbar^2\asto\mu^2\). Diferența a două șiruri convergente a.s. converge a.s. la diferența limitelor (intersecția a două evenimente de probabilitate \(1\) are probabilitatea \(1\)), deci \(V_n^2\asto\sigma^2+\mu^2-\mu^2=\sigma^2\), iar \(S_n^2=\frac{n}{n-1}V_n^2\asto\sigma^2\), deoarece \(\frac n{n-1}\to1\).

Pasul 2: descompunerea. Presupunem \(\mu_4<\infty\) și notăm \(Z_i=X_i-\mu\); variabilele \(Z_i^2\) sunt i.i.d., cu media \(\sigma^2\) și varianța \(\E[Z_1^4]-\sigma^4=v^2<\infty\). Din a doua reprezentare din (2), \[ \sqrt n\big(V_n^2-\sigma^2\big)=\underbrace{\sqrt n\Big(\frac1n\sum_{i=1}^nZ_i^2-\sigma^2\Big)}_{A_n}-\underbrace{\sqrt n\,\bar Z_n^2}_{B_n}. \]

(Într-adevăr, a doua reprezentare este \(V_n^2=\frac1n\sum_iZ_i^2-\bar Z_n^2\); scădem \(\sigma^2\) și înmulțim cu \(\sqrt n\).)

Pasul 3: \(A_n\dto\Norm(0,v^2)\). Este Propoziția 2(b) aplicată șirului i.i.d. \((Z_i^2)_i\), care are media \(\sigma^2\) și varianța finită \(v^2\): \(A_n\) este exact \(\sqrt n\,(\text{media eșantionului}-\text{media populației})\) pentru „populația” pătratelor \(Z_i^2\) (dacă \(v^2=0\), limita este repartiția degenerată în \(0\)).

Pasul 4: \(B_n\pto0\) (ca în cursul predat, cu lema lui Slutsky). Scriem \(B_n=\bar Z_n\cdot\big(\sqrt n\,\bar Z_n\big)\). Variabilele \(Z_i\) sunt i.i.d., cu media \(0\) și varianța \(\sigma^2\), deci, din Propoziția 2(b) aplicată lor, \(\bar Z_n\asto0\), așadar \(\bar Z_n\pto0\) (Teorema 56(a) din Cursul 1), și \(\sqrt n\,\bar Z_n\dto\Norm(0,\sigma^2)\). Din lema lui Slutsky (Teorema 58(b) din Cursul 1, cu \(X_n=\sqrt n\,\bar Z_n\) și \(Y_n=\bar Z_n\pto0\)), \(B_n=Y_nX_n\dto0\cdot W=0\), unde \(W\sim\Norm(0,\sigma^2)\); limita fiind o constantă, convergența are loc și în probabilitate (Teorema 56(d) din Cursul 1): \(B_n\pto0\). (Altfel: \(\E[B_n]=\sqrt n\,\Var(\bar Z_n)=\sigma^2/\sqrt n\to0\) și inegalitatea lui Markov, Propoziția 26(a) din Cursul 1.)

Pasul 5: concluzia. Din lema lui Slutsky (Teorema 58(a) din Cursul 1, cu \(X_n=A_n\dto\Norm(0,v^2)\) și \(Y_n=-B_n\pto0\)), \(\sqrt n(V_n^2-\sigma^2)=A_n-B_n\dto\Norm(0,v^2)\). Pentru \(S_n^2=\frac n{n-1}V_n^2\) avem \(S_n^2-V_n^2=\frac{1}{n-1}V_n^2\), deci \[ \sqrt n\big(S_n^2-\sigma^2\big)=\sqrt n\big(V_n^2-\sigma^2\big)+\frac{\sqrt n}{n-1}\,V_n^2 . \] Ultimul termen converge în probabilitate la \(0\): \(V_n^2\pto\sigma^2\) (din Pasul 1 și Teorema 56(a) din Cursul 1), deci \(V_n^2\dto\sigma^2\), iar șirul determinist \(\frac{\sqrt n}{n-1}\to0\) converge și în probabilitate la \(0\); din Teorema 58(b) din Cursul 1, produsul lor converge în repartiție la \(0\cdot\sigma^2=0\), deci și în probabilitate (Teorema 56(d) din Cursul 1). Aplicând din nou Teorema 58(a) din Cursul 1, \(\sqrt n(S_n^2-\sigma^2)\dto\Norm(0,v^2)\).■

Varianța asimptotică se scrie \(v^2=\mu_4-\sigma^4=\sigma^4(\gamma_2+2)\), deci depinde de coeficientul de aplatizare al populației: pentru populații normale \(v^2=2\sigma^4\), iar pentru populații cu cozi grele \(v^2\) poate fi mult mai mare (pentru \(\Exp(1)\), \(v^2=8\)). Consecința practică este importantă: procedurile de inferență pentru varianță construite pentru populații normale (Cursul 13, Cursul 15) nu sunt robuste la abateri de la normalitate (exemplul următor și Figura 1).

Exemplul 5 (Cât de precisă este varianța eșantionului pentru n = 100)

Fie \(n=100\) și o populație cu \(\sigma^2=1\). Estimăm, cu Propoziția 8, probabilitatea ca \(S_{100}^2\) să greșească cu mai mult de \(20\%\), adică \(\PP\big(|S_{100}^2-1|>0.2\big)\), pentru o populație normală și pentru una exponențială.

Ce folosim. Din propoziție, \(\sqrt n(S_n^2-\sigma^2)\approx\Norm(0,v^2)\), deci \(\sqrt n(S_n^2-\sigma^2)/v\approx\Norm(0,1)\). Înmulțind inegalitatea \(|S_n^2-1|>0.2\) cu \(\sqrt n/v=10/v\), \[ \PP\big(|S_{100}^2-1|>0.2\big)=\PP\Big(\frac{\sqrt{100}\,|S_{100}^2-1|}{v}>\frac{2}{v}\Big)\approx2\Big(1-\Phi\Big(\frac2v\Big)\Big). \]

Populație \(\Norm(0,1)\): \(\mu_4=3\), deci \(v^2=3-1=2\), \(2/v=1.414\) și probabilitatea este \(\approx2(1-\Phi(1.414))\approx0.157\).

Populație \(\Exp(1)\): \(\mu_4=9\) (Exemplul 4), deci \(v^2=8\), \(2/v=0.707\) și probabilitatea este \(\approx2(1-\Phi(0.707))\approx0.480\).

Interpretare. Cu același volum și aceeași varianță a populației, varianța eșantionului greșește cu peste \(20\%\) de trei ori mai des pentru populația exponențială (cu cozi mai grele) decât pentru cea normală. Simularea confirmă ambele aproximări; pentru populația normală, valoarea exactă (\(0.1568\)) se va obține din teorema lui Fisher (Secțiunea 4).

c(normal = 2 * (1 - pnorm(2 / sqrt(2))), expon = 2 * (1 - pnorm(2 / sqrt(8))))
#> normal  expon 
#> 0.1573 0.4795
set.seed(21); n <- 100; B <- 20000
sN <- apply(matrix(rnorm(n * B), B), 1, var)      # populație N(0, 1)
sE <- apply(matrix(rexp(n * B), B), 1, var)       # populație Exp(1)
c(sim_normal = mean(abs(sN - 1) > 0.2), sim_expon = mean(abs(sE - 1) > 0.2))
#> sim_normal  sim_expon 
#>     0.1588     0.4645
Arată codul R
set.seed(12)
n <- 400; B <- 5000
# statistica sqrt(n) (S_n^2 - 1) pentru cele două populații
sn <- sqrt(n) * (apply(matrix(rnorm(n * B), nrow = B), 1, var) - 1)
se <- sqrt(n) * (apply(matrix(rexp(n * B), nrow = B), 1, var) - 1)
niv <- c("Populație N(0, 1)", "Populație Exp(1)")
d <- data.frame(v = c(sn, se), pop = factor(rep(niv, each = B), levels = niv))
xx <- seq(-12, 12, length.out = 400)
# densitățile limită N(0, 2) și N(0, 8)
g <- data.frame(x = rep(xx, 2),
                y = c(dnorm(xx, 0, sqrt(2)), dnorm(xx, 0, sqrt(8))),
                pop = factor(rep(niv, each = 400), levels = niv))
ggplot(d, aes(v)) +
  geom_histogram(aes(y = after_stat(density)), bins = 60,
                 fill = culori[["albastru"]], colour = "white",
                 alpha = 0.75) +
  geom_line(data = g, aes(x, y), colour = culori[["rosu"]]) +
  facet_wrap(~pop) + coord_cartesian(xlim = c(-10, 12)) +
  labs(x = expression(sqrt(n) * (S[n]^2 - sigma^2)), y = "densitate")
Figura 1: Repartiția lui \(\sqrt n(S_n^2-\sigma^2)\) pentru \(n=400\) (\(5000\) de eșantioane simulate) și densitățile limită \(\mathcal N(0,\mu_4-\sigma^4)\): populație \(\mathcal N(0,1)\) (\(v^2=2\)) și populație \(\mathrm{Exp}(1)\) (\(v^2=8\)); ambele au \(\sigma^2=1\).

Rezultatele de până acum descriu primele două momente și comportamentul pentru \(n\) mare al statisticilor \(\Xbar\) și \(S_n^2\). Pentru a calcula probabilități exacte de tipul \(\PP(S_n^2>c)\) sau \(\PP(|\Xbar-\mu|\le kS_n)\) pentru un \(n\) dat avem nevoie de o ipoteză asupra populației; cea mai importantă este normalitatea. Repartițiile care apar se exprimă prin funcția Gamma.

3 Repartițiile Gamma și \(\chi^2\)

Densitățile repartițiilor derivate din repartiția normală se exprimă cu ajutorul funcției Gamma a lui Euler, iar calculele cu ele sunt cel mai simplu de făcut prin funcția generatoare de momente (Knight 2000, secț. 2.4).

3.1 Funcția Gamma și repartiția Gamma

Reamintim (Cursul 1) că funcția Gamma a lui Euler este \(\Gamma(a)=\int_0^\infty t^{a-1}e^{-t}\dd t\), \(a>0\) (integrala este convergentă: lângă \(0\) integrandul este cel mult \(t^{a-1}\), integrabil pentru \(a>0\), iar la infinit \(t^{a-1}e^{-t}\le Ce^{-t/2}\)). Vom folosi trei proprietăți ale ei.

Relația de recurență \(\Gamma(a+1)=a\,\Gamma(a)\). Integrăm prin părți cu \(u=t^a\) și \(v'=e^{-t}\) (deci \(u'=at^{a-1}\), \(v=-e^{-t}\)): \[ \Gamma(a+1)=\int_0^\infty t^ae^{-t}\dd t=\big[-t^ae^{-t}\big]_0^\infty+a\int_0^\infty t^{a-1}e^{-t}\dd t=0+a\,\Gamma(a), \] termenul integrat fiind nul în \(0\) (deoarece \(a>0\)) și la infinit (exponențiala domină orice putere).

Valorile în numere naturale. \(\Gamma(1)=\int_0^\infty e^{-t}\dd t=1\), iar din recurență, prin inducție, \(\Gamma(n)=(n-1)\Gamma(n-1)=\dots=(n-1)!\) pentru \(n\in\N^*\).

Valoarea \(\Gamma(1/2)=\sqrt\pi\). Cu substituția \(t=u^2/2\), \(u\in(0,\infty)\) (deci \(\dd t=u\dd u\) și \(t^{-1/2}=\sqrt2/u\); capetele \(0\) și \(\infty\) se păstrează), \[ \Gamma\Big(\frac12\Big)=\int_0^\infty t^{-1/2}e^{-t}\dd t=\int_0^\infty\frac{\sqrt2}{u}\,e^{-u^2/2}\,u\dd u=\sqrt2\int_0^\infty e^{-u^2/2}\dd u=\sqrt2\cdot\frac{\sqrt{2\pi}}2=\sqrt\pi, \] deoarece \(\int_{-\infty}^\infty e^{-u^2/2}\dd u=\sqrt{2\pi}\) (densitatea \(\Norm(0,1)\) are integrala \(1\)), iar integrandul este par. De exemplu, din recurență, \(\Gamma(3/2)=\frac12\Gamma(1/2)=\frac{\sqrt\pi}2\) și \(\Gamma(5/2)=\frac32\Gamma(3/2)=\frac{3\sqrt\pi}4\).

Definiția 9 (Repartiția Gamma)

Spunem că variabila aleatoare \(X\) are repartiția Gamma de parametri \(\alpha>0\) (parametru de formă) și \(\lambda>0\) (parametru de scală inversă, rate) și scriem \(X\sim\GammaD(\alpha,\lambda)\) dacă \(X\) are densitatea \[ f(x)=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x},\qquad x>0 . \] Pentru \(\alpha=1\) regăsim repartiția exponențială: \(\GammaD(1,\lambda)=\Exp(\lambda)\). În R: dgamma(x, shape = alpha, rate = lambda).

Faptul că \(f\) are integrala \(1\) rezultă din următoarea formulă, obținută din definiția funcției Gamma prin schimbarea de variabilă \(t=\theta x\) (\(\dd x=\dd t/\theta\), \(x^{\beta-1}=t^{\beta-1}/\theta^{\beta-1}\)): \[ \int_0^\infty x^{\beta-1}e^{-\theta x}\dd x=\frac{\Gamma(\beta)}{\theta^\beta},\qquad\beta>0,\ \theta>0 . \tag{5}\] Într-adevăr, \(\int_0^\infty x^{\beta-1}e^{-\theta x}\dd x=\int_0^\infty\frac{t^{\beta-1}}{\theta^{\beta-1}}e^{-t}\frac{\dd t}{\theta}=\frac{1}{\theta^\beta}\int_0^\infty t^{\beta-1}e^{-t}\dd t=\frac{\Gamma(\beta)}{\theta^\beta}\); pentru \(\beta=\alpha\) și \(\theta=\lambda\) obținem \(\int_0^\infty f(x)\dd x=\frac{\lambda^\alpha}{\Gamma(\alpha)}\cdot\frac{\Gamma(\alpha)}{\lambda^\alpha}=1\). Această integrală este instrumentul principal al calculelor din acest curs: ori de câte ori un integrand are forma „putere \(\times\) exponențială”, o recunoaștem ca o densitate Gamma nenormată.

Propoziția 10 (Proprietățile repartiției Gamma)

Fie \(X\sim\GammaD(\alpha,\lambda)\). Atunci:

  1. pentru orice \(r>-\alpha\), \(\E[X^r]=\dfrac{\Gamma(\alpha+r)}{\Gamma(\alpha)\,\lambda^r}\), iar pentru \(r\le-\alpha\), \(\E[X^r]=\infty\); în particular \(\E[X]=\dfrac\alpha\lambda\), \(\Var(X)=\dfrac\alpha{\lambda^2}\) și, pentru \(\alpha>1\), \(\E[1/X]=\dfrac{\lambda}{\alpha-1}\);

  2. \(M_X(t)=\Big(1-\dfrac t\lambda\Big)^{-\alpha}\) pentru \(t<\lambda\) și \(M_X(t)=\infty\) pentru \(t\ge\lambda\);

  3. pentru \(c>0\), \(cX\sim\GammaD(\alpha,\lambda/c)\);

  4. (aditivitate) dacă \(X_i\sim\GammaD(\alpha_i,\lambda)\), \(i=1,\dots,k\), sunt independente, atunci \(\sum_{i=1}^kX_i\sim\GammaD\big(\sum_{i=1}^k\alpha_i,\lambda\big)\).

Demonstrație. Ideea demonstrației. Momentele și f.g.m. sunt integrale de tipul „putere \(\times\) exponențială”, calculate cu (5). Afirmațiile (iii) și (iv) despre repartiții rezultă apoi din forma f.g.m. și din teorema de unicitate (Teorema 33 din Cursul 1).

  1. Din formula de transport (Teorema 22 din Cursul 1), pentru \(r\in\R\) (integrandul este nenegativ, deci integrala are sens în \([0,\infty]\)), \[ \E[X^r]=\int_0^\infty x^r\,\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}\dd x=\frac{\lambda^\alpha}{\Gamma(\alpha)}\int_0^\infty x^{(\alpha+r)-1}e^{-\lambda x}\dd x . \] Cazul \(\alpha+r>0\). Din (5) cu \(\beta=\alpha+r>0\), \(\theta=\lambda\), \[ \E[X^r]=\frac{\lambda^\alpha}{\Gamma(\alpha)}\cdot\frac{\Gamma(\alpha+r)}{\lambda^{\alpha+r}}=\frac{\Gamma(\alpha+r)}{\Gamma(\alpha)\,\lambda^r}. \] Cazul \(\alpha+r\le0\). Pe \((0,1)\) avem \(e^{-\lambda x}\ge e^{-\lambda}\), deci \[ \int_0^\infty x^{\alpha+r-1}e^{-\lambda x}\dd x\ge e^{-\lambda}\int_0^1x^{\alpha+r-1}\dd x=\infty, \] deoarece exponentul \(\alpha+r-1\) este cel mult \(-1\) (pentru exponentul \(-1\) primitiva este \(\log x\), iar pentru un exponent \(s<-1\) primitiva \(\frac{x^{s+1}}{s+1}\) este nemărginită lângă \(0\)). Deci \(\E[X^r]=\infty\).

Cazurile particulare rezultă din \(\Gamma(a+1)=a\Gamma(a)\). Pentru \(r=1\): \(\Gamma(\alpha+1)=\alpha\Gamma(\alpha)\), deci \(\E[X]=\frac{\alpha\Gamma(\alpha)}{\Gamma(\alpha)\lambda}=\frac\alpha\lambda\). Pentru \(r=2\): \(\Gamma(\alpha+2)=(\alpha+1)\alpha\Gamma(\alpha)\), deci \(\E[X^2]=\frac{(\alpha+1)\alpha}{\lambda^2}\) și \[ \Var(X)=\E[X^2]-(\E[X])^2=\frac{\alpha^2+\alpha}{\lambda^2}-\frac{\alpha^2}{\lambda^2}=\frac\alpha{\lambda^2}. \] Pentru \(r=-1\) (permis dacă \(\alpha>1\)): \(\Gamma(\alpha)=(\alpha-1)\Gamma(\alpha-1)\), deci \(\E[X^{-1}]=\frac{\Gamma(\alpha-1)\,\lambda}{(\alpha-1)\Gamma(\alpha-1)}=\frac{\lambda}{\alpha-1}\). Observăm că \(\E[1/X]=\frac\lambda{\alpha-1}>\frac\lambda\alpha=1/\E[X]\), în acord cu inegalitatea lui Jensen (Propoziția 28 din Cursul 1) pentru funcția convexă \(x\mapsto1/x\) pe \((0,\infty)\).

  1. Pentru \(t<\lambda\), exponentul este \(tx-\lambda x=-(\lambda-t)x\), iar din (5) cu \(\beta=\alpha\), \(\theta=\lambda-t>0\), \[ \begin{aligned} M_X(t)&=\int_0^\infty e^{tx}\,\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}\dd x=\frac{\lambda^\alpha}{\Gamma(\alpha)}\int_0^\infty x^{\alpha-1}e^{-(\lambda-t)x}\dd x\\ &=\frac{\lambda^\alpha}{\Gamma(\alpha)}\cdot\frac{\Gamma(\alpha)}{(\lambda-t)^\alpha}=\Big(\frac{\lambda}{\lambda-t}\Big)^{\alpha}=\Big(1-\frac t\lambda\Big)^{-\alpha}. \end{aligned} \] Pentru \(t\ge\lambda\), \(e^{(t-\lambda)x}\ge1\) pentru \(x>0\), deci \(e^{tx}f(x)\ge\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}\), iar \(\int_1^\infty x^{\alpha-1}\dd x=\infty\) (exponentul \(\alpha-1\) este mai mare decât \(-1\)); deci \(M_X(t)=\infty\) (acesta este și calculul din Exemplul 21 din Cursul 1).

  2. Din Propoziția 46(a) din Cursul 1 (cu \(a=0\), \(b=c\)) și din (ii), pentru \(ct<\lambda\), adică \(t<\lambda/c\), \[ M_{cX}(t)=M_X(ct)=\Big(1-\frac{ct}{\lambda}\Big)^{-\alpha}=\Big(1-\frac{t}{\lambda/c}\Big)^{-\alpha}, \] adică, din (ii), f.g.m. a repartiției \(\GammaD(\alpha,\lambda/c)\). Cele două f.g.m. sunt finite și egale pe vecinătatea \((-\lambda/c,\lambda/c)\) a lui \(0\), deci, din unicitate (Teorema 33 din Cursul 1), \(cX\sim\GammaD(\alpha,\lambda/c)\). Același rezultat se obține și fără f.g.m.: din Propoziția 18(a) din Cursul 1 (cu \(a=0\), \(b=c>0\)), \(cX\) are, pentru \(x>0\), densitatea \[ \frac1c\,f\Big(\frac xc\Big)=\frac1c\cdot\frac{\lambda^\alpha}{\Gamma(\alpha)}\Big(\frac xc\Big)^{\alpha-1}e^{-\lambda x/c}=\frac{(\lambda/c)^\alpha}{\Gamma(\alpha)}\,x^{\alpha-1}e^{-(\lambda/c)x}, \] care este densitatea \(\GammaD(\alpha,\lambda/c)\).

  3. Fiecare \(X_i\) are f.g.m. finită pe \((-\infty,\lambda)\), dată de (ii). Din independență și Propoziția 46(b) din Cursul 1, pentru \(t<\lambda\), \[ M_{\sum_iX_i}(t)=\prod_{i=1}^kM_{X_i}(t)=\prod_{i=1}^k\Big(1-\frac t\lambda\Big)^{-\alpha_i}=\Big(1-\frac t\lambda\Big)^{-\sum_i\alpha_i}, \] care este, din (ii), f.g.m. a repartiției \(\GammaD(\sum_i\alpha_i,\lambda)\), finită pe vecinătatea \((-\lambda,\lambda)\) a lui \(0\); din unicitate (Teorema 33 din Cursul 1), \(\sum_iX_i\sim\GammaD\big(\sum_i\alpha_i,\lambda\big)\) (este Exemplul 31 din Cursul 1).

■

Esențial în (iv) este ca parametrul \(\lambda\) să fie același: pentru parametri diferiți suma nu mai este de tip Gamma. Parametrul \(\lambda\) este un parametru de scală (inversă), conform (iii): dacă \(X\sim\GammaD(\alpha,1)\), atunci \(X/\lambda\sim\GammaD(\alpha,\lambda)\). De exemplu, pentru un eșantion \(X_1,\dots,X_n\) din \(\Exp(\lambda)=\GammaD(1,\lambda)\), din (iv) \(\sum_iX_i\sim\GammaD(n,\lambda)\), iar din (iii) cu \(c=2\lambda\), \(2\lambda\sum_iX_i\sim\GammaD\big(n,\frac{\lambda}{2\lambda}\big)=\GammaD(n,\frac12)\), repartiție care, vom vedea imediat, este \(\chisq{2n}\).

Exemplul 6 (Timpul de așteptare până la al treilea client)

Intervalele de timp (în ore) dintre sosirile clienților la un ghișeu sunt v.a. independente \(\Exp(2)\) (în medie doi clienți pe oră). Fie \(X=T_1+T_2+T_3\) momentul sosirii celui de-al treilea client.

Repartiția. Cum \(\Exp(2)=\GammaD(1,2)\), din Propoziția 10(iv) cu \(\alpha_1=\alpha_2=\alpha_3=1\), \(X\sim\GammaD(3,2)\), cu densitatea \(f(x)=\frac{2^3}{\Gamma(3)}x^2e^{-2x}=4x^2e^{-2x}\), \(x>0\) (Definiția 9, \(\Gamma(3)=2!=2\)).

Momentele (Propoziția 10(i)): \(\E[X]=\frac32=1.5\) ore, \(\Var(X)=\frac{3}{4}\), iar \(\E[1/X]=\frac{2}{3-1}=1\), mai mare decât \(1/\E[X]\approx0.667\).

O probabilitate. Calculăm \(\PP(X>x)\) pentru \(x>0\) integrând de două ori prin părți. Cu \(u=t^2\), \(v'=e^{-2t}\) (\(u'=2t\), \(v=-\frac12e^{-2t}\)) și apoi cu \(u=t\), \[ \begin{aligned} \int_x^\infty4t^2e^{-2t}\dd t&=\big[-2t^2e^{-2t}\big]_x^\infty+\int_x^\infty4te^{-2t}\dd t=2x^2e^{-2x}+\big[-2te^{-2t}\big]_x^\infty+\int_x^\infty2e^{-2t}\dd t\\ &=e^{-2x}\big(2x^2+2x+1\big), \end{aligned} \] termenii integrați fiind nuli la infinit. Pentru \(x=2\): \(\PP(X>2)=e^{-4}(8+4+1)=13e^{-4}\approx0.2381\): în aproape un sfert din zile, al treilea client sosește după mai mult de două ore. Același rezultat se obține cu (iii): \(4X\sim\GammaD(3,\frac12)\), deci \(\PP(X>2)=\PP(4X>8)\) este o probabilitate pentru repartiția \(\GammaD(3,\frac12)=\chisq6\) (Propoziția 13(i) de mai jos).

c(formula = 13 * exp(-4), pgamma = 1 - pgamma(2, shape = 3, rate = 2),
  chi2 = 1 - pchisq(8, df = 6))
#> formula  pgamma    chi2 
#>  0.2381  0.2381  0.2381

3.2 Repartiția \(\chi^2\)

Primul pas spre repartiția lui \(S_n^2\) este repartiția pătratului unei normale standard.

Lema 11 (Pătratul unei normale standard)

Dacă \(Z\sim\Norm(0,1)\), atunci \(Z^2\) are densitatea \[ f_{Z^2}(y)=\frac{1}{\sqrt{2\pi y}}\,e^{-y/2}=\frac{(1/2)^{1/2}}{\Gamma(1/2)}\,y^{1/2-1}e^{-y/2},\qquad y>0, \] adică \(Z^2\sim\GammaD\big(\tfrac12,\tfrac12\big)\), iar \(M_{Z^2}(t)=(1-2t)^{-1/2}\) pentru \(t<\frac12\).

Demonstrație. Ideea demonstrației. Calculăm f.g.m. a lui \(Z^2\) (o integrală gaussiană) și o recunoaștem ca f.g.m. a repartiției \(\GammaD\big(\frac12,\frac12\big)\); alternativ, aplicăm direct formula densității pătratului unei variabile continue.

Prin f.g.m. Din formula de transport, \(M_{Z^2}(t)=\E\big[e^{tZ^2}\big]=\int e^{tz^2}\phi(z)\dd z\). Pentru \(t<\frac12\), completând în exponent, \(tz^2-\frac{z^2}2=-\frac{(1-2t)z^2}{2}\), și recunoscând densitatea repartiției \(\Norm\big(0,\frac1{1-2t}\big)\) (care are integrala \(1\)), \[ M_{Z^2}(t)=\int_{-\infty}^\infty e^{tz^2}\frac1{\sqrt{2\pi}}e^{-z^2/2}\dd z=\frac{1}{\sqrt{1-2t}}\int_{-\infty}^\infty\frac{\sqrt{1-2t}}{\sqrt{2\pi}}e^{-\frac{(1-2t)z^2}{2}}\dd z=(1-2t)^{-1/2}, \] iar pentru \(t\ge\frac12\) integrandul este \(\frac1{\sqrt{2\pi}}e^{(t-\frac12)z^2}\ge\frac1{\sqrt{2\pi}}\) și integrala diverge. Am obținut \(M_{Z^2}(t)=\big(1-\frac{t}{1/2}\big)^{-1/2}\), adică f.g.m. a repartiției \(\GammaD\big(\frac12,\frac12\big)\) (Propoziția 10(ii) cu \(\alpha=\lambda=\frac12\)), finită pe vecinătatea \((-\frac12,\frac12)\) a lui \(0\); din unicitate (Teorema 33 din Cursul 1), \(Z^2\sim\GammaD\big(\frac12,\frac12\big)\). Densitatea acestei repartiții (Definiția 9) este \(\frac{(1/2)^{1/2}}{\Gamma(1/2)}y^{1/2-1}e^{-y/2}=\frac{1}{\sqrt2\sqrt\pi}\cdot\frac1{\sqrt y}e^{-y/2}=\frac1{\sqrt{2\pi y}}e^{-y/2}\), deoarece \(\Gamma(1/2)=\sqrt\pi\): este densitatea din enunț.

Prin densități. Din Propoziția 20 din Cursul 1 și din paritatea lui \(\phi\) (\(\phi(-\sqrt y)=\phi(\sqrt y)=\frac1{\sqrt{2\pi}}e^{-y/2}\)), pentru \(y>0\), \[ f_{Z^2}(y)=\frac{\phi(\sqrt y)+\phi(-\sqrt y)}{2\sqrt y}=\frac{2\phi(\sqrt y)}{2\sqrt y}=\frac{1}{\sqrt y}\cdot\frac{e^{-y/2}}{\sqrt{2\pi}}=\frac{1}{\sqrt{2\pi y}}\,e^{-y/2} \] (este calculul din Exemplul 9 din Cursul 1); (Hogg et al. 2019, secț. 3.4). Din această a doua cale f.g.m. se obține cu Propoziția 10(ii). ■

Definiția 12 (Repartiția hi-pătrat)

Fie \(Z_1,Z_2,\dots,Z_\nu\) variabile aleatoare independente, repartizate \(\Norm(0,1)\). Repartiția variabilei aleatoare \[ Q=Z_1^2+Z_2^2+\dots+Z_\nu^2 \] se numește repartiția hi-pătrat cu \(\nu\) grade de libertate și se notează \(Q\sim\chisq{\nu}\).

Definiția are sens: repartiția lui \(Q\) depinde doar de \(\nu\) (nu de alegerea variabilelor \(Z_i\)), deoarece, din Propoziția 38(b) din Cursul 1, vectorul \((Z_1,\dots,Z_\nu)\) are o densitate complet determinată. Numărul de grade de libertate \(\nu\) numără pătratele „independente” din sumă.

Propoziția 13 (Proprietățile repartiției \(\chi^2\))

Fie \(Q\sim\chisq{\nu}\). Atunci:

  1. \(M_Q(t)=(1-2t)^{-\nu/2}\) pentru \(t<1/2\) și \(\chisq\nu=\GammaD\big(\frac\nu2,\frac12\big)\), deci \(Q\) are densitatea \[ f_Q(x)=\frac{1}{2^{\nu/2}\,\Gamma(\nu/2)}\,x^{\nu/2-1}e^{-x/2},\qquad x>0; \tag{6}\]

  2. \(\E[Q]=\nu\) și \(\Var(Q)=2\nu\); în particular, pentru \(Z\sim\Norm(0,1)\), \(\E[Z^4]=3\);

  3. (aditivitate) dacă \(Q_1\sim\chisq{\nu_1}\) și \(Q_2\sim\chisq{\nu_2}\) sunt independente, atunci \(Q_1+Q_2\sim\chisq{\nu_1+\nu_2}\);

  4. \(\E[Q^r]=\dfrac{2^r\,\Gamma(\nu/2+r)}{\Gamma(\nu/2)}\) pentru \(r>-\nu/2\); în particular \(\E[1/Q]=\dfrac1{\nu-2}\) pentru \(\nu>2\) și \(\E[1/Q^2]=\dfrac1{(\nu-2)(\nu-4)}\) pentru \(\nu>4\);

  5. \(\dfrac{Q-\nu}{\sqrt{2\nu}}\dto\Norm(0,1)\) când \(\nu\to\infty\).

Demonstrație. Ideea demonstrației. F.g.m. a unei sume de variabile independente este produsul f.g.m.; cum \(Z_i^2\sim\GammaD(\frac12,\frac12)\), obținem f.g.m. a repartiției \(\GammaD(\frac\nu2,\frac12)\). După această identificare, (ii)–(iv) sunt cazuri particulare ale proprietăților repartiției Gamma, iar (v) este TLC pentru suma din definiție.

  1. Fie \(Z_1,\dots,Z_\nu\) i.i.d. \(\Norm(0,1)\) cu \(Q\eqd\sum_{i=1}^\nu Z_i^2\) (Definiția 12); f.g.m. depinde doar de repartiție, deci o calculăm pe această sumă. Variabilele \(Z_1^2,\dots,Z_\nu^2\) sunt independente (Propoziția 39 din Cursul 1), iar din Lema 11 fiecare are f.g.m. \((1-2t)^{-1/2}\), \(t<\frac12\). Din Propoziția 46(b) din Cursul 1, \[ M_Q(t)=\prod_{i=1}^\nu M_{Z_i^2}(t)=\big((1-2t)^{-1/2}\big)^\nu=(1-2t)^{-\nu/2}=\Big(1-\frac{t}{1/2}\Big)^{-\nu/2},\qquad t<\frac12, \] adică f.g.m. a repartiției \(\GammaD\big(\frac\nu2,\frac12\big)\) (Propoziția 10(ii)), finită pe vecinătatea \((-\frac12,\frac12)\) a lui \(0\); din unicitate (Teorema 33 din Cursul 1), \(Q\sim\GammaD\big(\frac\nu2,\frac12\big)\). Înlocuind \(\alpha=\nu/2\), \(\lambda=1/2\) în densitatea Gamma (Definiția 9), \[ \frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x}=\frac{(1/2)^{\nu/2}}{\Gamma(\nu/2)}\,x^{\nu/2-1}e^{-x/2}=\frac{1}{2^{\nu/2}\,\Gamma(\nu/2)}\,x^{\nu/2-1}e^{-x/2},\qquad x>0, \] adică (6).

  2. Din (i) și Propoziția 10(i) cu \(\alpha=\frac\nu2\), \(\lambda=\frac12\): \(\E[Q]=\frac\alpha\lambda=\frac{\nu/2}{1/2}=\nu\) și \(\Var(Q)=\frac\alpha{\lambda^2}=\frac{\nu/2}{1/4}=2\nu\). Pentru \(\nu=1\), \(Q=Z^2\), cu \(\E[Z^2]=1\) și \(\Var(Z^2)=2\), deci, din \(\Var(Y)=\E[Y^2]-(\E[Y])^2\) aplicată lui \(Y=Z^2\), \[ \E[Z^4]=\Var(Z^2)+\big(\E[Z^2]\big)^2=2+1=3 . \] Același rezultat se obține direct, integrând prin părți cu \(u=z^3\) și \(v'=z\phi(z)\); cum \(\phi'(z)=-z\phi(z)\), avem \(v=-\phi(z)\) și \(u'=3z^2\), deci \[ \E[Z^4]=\int_{-\infty}^\infty z^3\cdot z\phi(z)\dd z=\big[-z^3\phi(z)\big]_{-\infty}^{\infty}+3\int_{-\infty}^\infty z^2\phi(z)\dd z=0+3\,\E[Z^2]=3, \] termenul integrat fiind nul deoarece \(z^3e^{-z^2/2}\to0\) când \(z\to\pm\infty\). Media și varianța lui \(Q\) rezultă și direct din definiție, fără repartiția Gamma: din liniaritate, \(\E[Q]=\sum_i\E[Z_i^2]=\nu\), iar din independența variabilelor \(Z_i^2\) (Propoziția 42(d) din Cursul 1), \(\Var(Q)=\sum_i\Var(Z_i^2)=\nu\big(\E[Z^4]-(\E[Z^2])^2\big)=\nu(3-1)=2\nu\).

  3. Din (i), \(M_{Q_1}(t)=(1-2t)^{-\nu_1/2}\) și \(M_{Q_2}(t)=(1-2t)^{-\nu_2/2}\) pentru \(t<\frac12\). Din independență și Propoziția 46(b) din Cursul 1, \[ M_{Q_1+Q_2}(t)=M_{Q_1}(t)\,M_{Q_2}(t)=(1-2t)^{-\nu_1/2}(1-2t)^{-\nu_2/2}=(1-2t)^{-(\nu_1+\nu_2)/2},\qquad t<\frac12, \] care este, din (i), f.g.m. a repartiției \(\chisq{\nu_1+\nu_2}\), finită pe o vecinătate a lui \(0\); din unicitate (Teorema 33 din Cursul 1), \(Q_1+Q_2\sim\chisq{\nu_1+\nu_2}\) (Hogg et al. 2019, secț. 3.3).

  4. Din (i) și Propoziția 10(i) cu \(\alpha=\nu/2\), \(\lambda=1/2\), pentru \(r>-\nu/2\): \(\E[Q^r]=\frac{\Gamma(\nu/2+r)}{\Gamma(\nu/2)(1/2)^r}=\frac{2^r\,\Gamma(\nu/2+r)}{\Gamma(\nu/2)}\). Pentru \(r=-1\) (permis dacă \(-1>-\nu/2\), adică \(\nu>2\)), folosind \(\Gamma(\nu/2)=(\nu/2-1)\Gamma(\nu/2-1)\), \[ \E[Q^{-1}]=\frac{2^{-1}\Gamma(\nu/2-1)}{(\nu/2-1)\Gamma(\nu/2-1)}=\frac{1}{2(\nu/2-1)}=\frac1{\nu-2}; \] pentru \(r=-2\) (permis dacă \(\nu>4\)), folosind \(\Gamma(\nu/2)=(\nu/2-1)(\nu/2-2)\Gamma(\nu/2-2)\), \[ \E[Q^{-2}]=\frac{2^{-2}\Gamma(\nu/2-2)}{(\nu/2-1)(\nu/2-2)\Gamma(\nu/2-2)}=\frac{1}{4(\nu/2-1)(\nu/2-2)}=\frac1{(\nu-2)(\nu-4)} . \]

  5. Fie \((Z_i)_{i\ge1}\) un șir i.i.d. \(\Norm(0,1)\) și \(Y_i=Z_i^2\). Variabilele \(Y_i\) sunt i.i.d., cu media \(\E[Z_i^2]=1\) și varianța \(\Var(Z_i^2)=2\in(0,\infty)\) (din (ii)), deci verifică ipotezele TLC (Teorema 64 din Cursul 1, cu \(\mu=1\), \(\sigma^2=2\) și \(n=\nu\)): \[ \frac{\sum_{i=1}^\nu Y_i-\nu\cdot1}{\sqrt2\,\sqrt\nu}\dto\Norm(0,1),\qquad\nu\to\infty . \] Pentru fiecare \(\nu\), \(Q_\nu\sim\chisq\nu\) are aceeași repartiție ca \(\sum_{i=1}^\nu Y_i\), deci \(\frac{Q_\nu-\nu}{\sqrt{2\nu}}\) are aceeași funcție de repartiție ca variabila din membrul stâng; convergența în repartiție depinde doar de funcțiile de repartiție, deci \(\frac{Q_\nu-\nu}{\sqrt{2\nu}}\dto\Norm(0,1)\).

■

Pentru \(\nu=2\), densitatea (6) este \(\frac12e^{-x/2}\), deci \(\chisq2=\Exp(1/2)\). Forma densității se citește din derivata logaritmului ei: din \(\log f_Q(x)=(\frac\nu2-1)\log x-\frac x2+\text{const}\), \[ \big(\log f_Q\big)'(x)=\frac{\nu/2-1}{x}-\frac12=\frac{(\nu-2)-x}{2x},\qquad x>0 . \] Pentru \(\nu\le2\) derivata este negativă pe \((0,\infty)\), deci densitatea este descrescătoare (și nemărginită în \(0\) pentru \(\nu=1\), din cauza factorului \(x^{-1/2}\)); pentru \(\nu>2\) derivata este pozitivă pe \((0,\nu-2)\) și negativă pe \((\nu-2,\infty)\), deci densitatea are maximul (modul) în \(x=\nu-2\). Repartiția este asimetrică la dreapta. Coeficientul de asimetrie se calculează cu (iv): \(\E[Q^2]=4\big(\frac\nu2+1\big)\frac\nu2=\nu(\nu+2)\) și \(\E[Q^3]=8\big(\frac\nu2+2\big)\big(\frac\nu2+1\big)\frac\nu2=\nu(\nu+2)(\nu+4)\), deci \[ \E\big[(Q-\nu)^3\big]=\E[Q^3]-3\nu\,\E[Q^2]+3\nu^2\,\E[Q]-\nu^3=\nu(\nu+2)(\nu+4)-3\nu^2(\nu+2)+2\nu^3=8\nu, \] și \(\gamma_1=\frac{8\nu}{(2\nu)^{3/2}}=\sqrt{8/\nu}\); asimetria scade când \(\nu\) crește, iar repartiția devine aproximativ normală pentru \(\nu\) mare, conform (v) (Figura 2). Din Propoziția 10(iv) și (iii) (calculul de la sfârșitul Secțiunea 3.1) și din (i), pentru un eșantion \(\Exp(\lambda)\), \(2\lambda\sum_{i=1}^nX_i\sim\GammaD(n,\frac12)=\chisq{2n}\), fapt pe care îl vom folosi pentru intervale de încredere (Cursul 12).

Arată codul R
xx <- seq(0.01, 25, length.out = 600)
nn <- c(1, 2, 3, 5, 10)                        # gradele de libertate
d <- do.call(rbind, lapply(nn, function(k)
  data.frame(x = xx, y = dchisq(xx, k), nu = k)))
d$nu <- factor(d$nu, levels = nn, labels = paste("ν =", nn))
ggplot(d, aes(x, y, colour = nu)) + geom_line() +
  coord_cartesian(ylim = c(0, 0.5)) +
  labs(x = "x", y = "densitate", colour = NULL)
Figura 2: Densitățile repartițiilor \(\chi^2_\nu\) pentru \(\nu\in\{1,2,3,5,10\}\). Media este \(\nu\), iar varianța \(2\nu\); pentru \(\nu>2\) modul este \(\nu-2\), iar pentru \(\nu\) mare repartiția devine aproximativ normală.
Exemplul 7 (Calcule cu repartiția \(\chi^2\))

Cuantile și asimetrie. Pentru \(Q\sim\chisq{10}\), cuantilele \(\chi^2_{10,0.025}\approx3.247\) și \(\chi^2_{10,0.975}\approx20.483\) verifică \[ \PP\big(3.247\le Q\le20.483\big)=\PP(Q\le20.483)-\PP(Q<3.247)=0.975-0.025=0.95, \] deci delimitează un interval care conține \(Q\) cu probabilitatea \(0.95\) și lasă câte \(2.5\%\) în fiecare coadă. Intervalul nu este simetric față de media \(10\): capătul drept este la distanța \(10.48\) de medie, iar cel stâng la doar \(6.75\), reflectând asimetria la dreapta. Această asimetrie se va regăsi în intervalele de încredere pentru varianță (Cursul 13).

Aproximarea normală. Din (v), \(Q\approx\Norm(\nu,2\nu)\) pentru \(\nu\) mare. Pentru \(\nu=30\), cu abaterea standard \(\sqrt{60}\approx7.746\), \[ \PP\big(\chisq{30}>40\big)=\PP\Big(\frac{Q-30}{\sqrt{60}}>\frac{40-30}{\sqrt{60}}\Big)\approx1-\Phi(1.291)\approx0.0984, \] față de valoarea exactă \(0.1049\): din cauza asimetriei (\(\gamma_1=\sqrt{8/30}\approx0.52\)), aproximarea normală subestimează coada dreaptă.

Verificarea definiției prin simulare. Generăm \(10^5\) sume de câte \(10\) pătrate de normale standard: media și varianța lor trebuie să fie apropiate de \(10\) și \(20\), iar proporția sumelor cel mult egale cu \(20.483\) de \(0.975\).

qchisq(c(0.025, 0.975), df = 10)                  # cuantilele chi^2_10
#> [1]  3.247 20.483
c(exact = 1 - pchisq(40, 30),                     # coada chi^2_30
  normal = 1 - pnorm((40 - 30) / sqrt(60)))      # aproximarea TLC
#>   exact  normal 
#> 0.10486 0.09835
set.seed(1)
Q <- colSums(matrix(rnorm(10 * 1e5), nrow = 10)^2)   # 1e5 sume de 10 pătrate
c(media = mean(Q), varianta = var(Q), P = mean(Q <= 20.483))
#>    media varianta        P 
#>  10.0037  19.8682   0.9756

3.3 Suma și raportul a două variabile Gamma: repartiția Beta

Aditivitatea repartiției Gamma a fost obținută prin f.g.m. Schimbarea de variabilă (Teorema 52 din Cursul 1), împreună cu criteriul de factorizare (Lema 10 din Cursul 4), dă un rezultat mai tare, care descrie simultan suma \(X+Y\) și „proporția” \(X/(X+Y)\) și le arată independente. Este și o repetiție generală a metodei pe care o vom folosi în demonstrația teoremei lui Fisher: (1) alegem o transformare bijectivă potrivită; (2) calculăm iacobianul inversei; (3) scriem densitatea noului vector; (4) o factorizăm.

Reamintim că \(X\sim\BetaD(a,b)\), \(a,b>0\), dacă are densitatea \(\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}x^{a-1}(1-x)^{b-1}\), \(x\in(0,1)\); faptul că aceasta este o densitate va rezulta din demonstrația următoare.

Propoziția 14 (Legătura dintre repartițiile Gamma și Beta)

Fie \(X\sim\GammaD(a,\lambda)\) și \(Y\sim\GammaD(b,\lambda)\) independente. Atunci \[ U=X+Y\sim\GammaD(a+b,\lambda),\qquad V=\frac{X}{X+Y}\sim\BetaD(a,b), \] iar \(U\) și \(V\) sunt independente.

Demonstrație. Ideea demonstrației. Aplicăm formula schimbării de variabilă transformării \((x,y)\mapsto\big(x+y,\ x/(x+y)\big)\). Densitatea comună a lui \((U,V)\) se scrie ca produsul dintre o funcție de \(u\) (densitatea \(\GammaD(a+b,\lambda)\)) și o funcție de \(v\) (proporțională cu \(v^{a-1}(1-v)^{b-1}\)), iar criteriul de factorizare (Lema 10 din Cursul 4) dă simultan independența și cele două repartiții.

Pasul 1: transformarea. Vectorul \((X,Y)\) are densitatea \(f_X(x)f_Y(y)\) (Propoziția 38(b) din Cursul 1), nulă în afara deschisului \(A=(0,\infty)^2\), deci \(\PP\big((X,Y)\in A\big)=1\). Fie \(h(x,y)=\big(x+y,\ x/(x+y)\big)\) pe \(A\); pentru \(x,y>0\), \(u=x+y>0\) și \(v=x/(x+y)\in(0,1)\), deci \(h(A)\subseteq B=(0,\infty)\times(0,1)\). Reciproc, pentru \((u,v)\in B\), sistemul \(x+y=u\), \(x/(x+y)=v\) are soluția unică \(x=uv\), \(y=u-x=u(1-v)\), cu \(x,y>0\), adică din \(A\). Deci \(h:A\to B\) este o bijecție, cu inversa \(h^{-1}(u,v)=\big(uv,\ u(1-v)\big)\); \(h\) și \(h^{-1}\) sunt de clasă \(C^1\) (funcții raționale cu numitorul nenul, respectiv polinomiale), iar iacobianul lui \(h\) nu se anulează pe \(A\): \[ J_h(x,y)=\det\begin{pmatrix}1&1\\[1mm]\dfrac{y}{(x+y)^2}&-\dfrac{x}{(x+y)^2}\end{pmatrix}=-\frac{x}{(x+y)^2}-\frac{y}{(x+y)^2}=-\frac1{x+y}\ne0 . \] Sunt îndeplinite ipotezele Teoremei 52 din Cursul 1, cu \(S=A\) și \(T=B\).

Pasul 2: iacobianul inversei. Derivatele parțiale ale lui \(x=uv\) și \(y=u(1-v)\) sunt \(\partial_ux=v\), \(\partial_vx=u\), \(\partial_uy=1-v\), \(\partial_vy=-u\), deci \[ J_{h^{-1}}(u,v)=\det\begin{pmatrix}v&u\\1-v&-u\end{pmatrix}=-uv-u(1-v)=-u,\qquad |J_{h^{-1}}(u,v)|=u>0 \] (în acord cu \(J_{h^{-1}}=1/J_h\): \(-\frac1{x+y}=-\frac1u\)).

Pasul 3: densitatea comună. Din Teorema 52 din Cursul 1, \(f_{(U,V)}(u,v)=f_X(uv)\,f_Y\big(u(1-v)\big)\,u\) pentru \((u,v)\in B\) și \(f_{(U,V)}=0\) în afara lui \(B\). Înlocuind densitățile Gamma (Definiția 9), \[ f_{(U,V)}(u,v)=\frac{\lambda^{a}(uv)^{a-1}e^{-\lambda uv}}{\Gamma(a)}\cdot\frac{\lambda^{b}\big(u(1-v)\big)^{b-1}e^{-\lambda u(1-v)}}{\Gamma(b)}\cdot u . \] Grupăm factorii: constantele dau \(\frac{\lambda^{a+b}}{\Gamma(a)\Gamma(b)}\); puterile lui \(u\) dau \(u^{a-1}u^{b-1}u=u^{a+b-1}\); puterile lui \(v\) și \(1-v\) dau \(v^{a-1}(1-v)^{b-1}\); exponențialele dau \(e^{-\lambda uv-\lambda u+\lambda uv}=e^{-\lambda u}\) (variabila \(v\) dispare din exponent!). Deci \(f_{(U,V)}(u,v)=\frac{\lambda^{a+b}}{\Gamma(a)\Gamma(b)}u^{a+b-1}e^{-\lambda u}\,v^{a-1}(1-v)^{b-1}\) pe \(B\). Înmulțind și împărțind cu \(\Gamma(a+b)\), \[ f_{(U,V)}(u,v)=\underbrace{\frac{\lambda^{a+b}}{\Gamma(a+b)}u^{a+b-1}e^{-\lambda u}\Ind_{(0,\infty)}(u)}_{g_1(u)}\cdot\underbrace{\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}v^{a-1}(1-v)^{b-1}\Ind_{(0,1)}(v)}_{g_2(v)}, \] egalitate valabilă pentru orice \((u,v)\in\R^2\) (ambii membri sunt nuli în afara lui \(B\)).

Pasul 4: concluzia. Din Lema 10 din Cursul 4, \(U\indep V\), iar densitățile lor sunt \(f_U=c_2\,g_1\) și \(f_V=c_1\,g_2\), unde \(c_1=\int g_1\), \(c_2=\int g_2\) și \(c_1c_2=1\). Funcția \(g_1\) este exact densitatea \(\GammaD(a+b,\lambda)\), deci, din (5) cu \(\beta=a+b\) și \(\theta=\lambda\), \(c_1=\frac{\lambda^{a+b}}{\Gamma(a+b)}\cdot\frac{\Gamma(a+b)}{\lambda^{a+b}}=1\); atunci și \(c_2=1/c_1=1\). Rezultă \(f_U=g_1\), adică \(U\sim\GammaD(a+b,\lambda)\), și \(f_V=g_2\), adică \(V\) are densitatea \(\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}v^{a-1}(1-v)^{b-1}\) pe \((0,1)\): \(V\sim\BetaD(a,b)\). Egalitatea \(c_2=\int_0^1g_2(v)\dd v=1\) spune că aceasta este într-adevăr o densitate și dă, ca produs secundar, valoarea integralei Beta: \[ \int_0^1v^{a-1}(1-v)^{b-1}\dd v=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)} . \]■

Rezultatul conține aditivitatea din Propoziția 10(iv) (pentru \(k=2\), apoi prin inducție) și are o interpretare frumoasă: pentru \(a=b=1\), dacă \(X,Y\) sunt duratele de așteptare exponențiale până la două evenimente independente, proporția \(X/(X+Y)\) este uniformă pe \((0,1)\) și independentă de timpul total de așteptare. Revenim la eșantioanele normale: suma pătratelor abaterilor \(\sum_i(X_i-\Xbar)^2\) nu este o sumă de pătrate de variabile independente (abaterile sunt legate prin \(\sum_i(X_i-\Xbar)=0\)), deci Definiția 12 nu se aplică direct. Vom ocoli această dificultate adăugând observațiile una câte una: la fiecare pas, suma pătratelor abaterilor crește cu pătratul unei singure variabile normale, independente de ce era înainte.

4 Teorema lui Fisher

Presupunem de acum înainte că populația este normală. În acest caz repartițiile statisticilor \(\Xbar\) și \(S_n^2\) pot fi determinate exact, pentru orice volum \(n\ge2\) (Knight 2000, Prop. 2.11; Casella and Berger 2002, secț. 5.3). Demonstrația pe care o dăm urmează cursul predat: media se tratează cu f.g.m., independența cu schimbarea de variabilă și criteriul de factorizare, iar repartiția \(\chi^2\) prin inducție după \(n\), cu ajutorul unei relații de recurență pentru varianța eșantionului. Începem cu această relație.

4.1 O relație de recurență pentru varianța eșantionului

Relația următoare este o identitate algebrică despre numere reale: ea spune cum se modifică suma pătratelor abaterilor atunci când adăugăm o observație.

Lema 15 (Relația de recurență pentru varianța eșantionului)

Pentru orice \(n\ge2\) și orice numere reale \(x_1,\dots,x_n\), \[ (n-1)s_n^2=(n-2)s_{n-1}^2+\frac{n-1}{n}\big(x_n-\bar x_{n-1}\big)^2, \tag{7}\] unde \(\bar x_k\) și \(s_k^2\) sunt media și varianța primelor \(k\) valori (cu convenția \((n-2)s_{n-1}^2=0\) pentru \(n=2\)).

Demonstrație. Ideea demonstrației. Exprimăm noua medie \(\bar x_n\) prin cea veche, \(\bar x_{n-1}\), și prin abaterea \(d=x_n-\bar x_{n-1}\) a noii observații, apoi dezvoltăm suma pătratelor abaterilor față de \(\bar x_n\) în jurul lui \(\bar x_{n-1}\).

Din \(n\bar x_n=\sum_{i\le n}x_i=(n-1)\bar x_{n-1}+x_n=n\bar x_{n-1}+(x_n-\bar x_{n-1})\) obținem \(\bar x_n=\bar x_{n-1}+\frac dn\), cu \(d=x_n-\bar x_{n-1}\), deci \(x_i-\bar x_n=(x_i-\bar x_{n-1})-\frac dn\). Ridicând la pătrat și sumând după \(i=1,\dots,n\) (ultimul termen este suma a \(n\) termeni egali cu \(\frac{d^2}{n^2}\)), \[ (n-1)s_n^2=\sum_{i=1}^n(x_i-\bar x_n)^2=\sum_{i=1}^n(x_i-\bar x_{n-1})^2-\frac{2d}{n}\sum_{i=1}^n(x_i-\bar x_{n-1})+\frac{d^2}{n}. \] Separăm în fiecare sumă termenul \(i=n\), egal cu \(d^2\), respectiv \(d\). Prima sumă este \(\sum_{i<n}(x_i-\bar x_{n-1})^2+d^2=(n-2)s_{n-1}^2+d^2\) (definiția lui \(s_{n-1}^2\); pentru \(n=2\), \(\sum_{i<2}(x_i-\bar x_1)^2=0\)), iar a doua este \(\sum_{i<n}(x_i-\bar x_{n-1})+d=0+d=d\), deoarece abaterile primelor \(n-1\) valori față de media lor au suma nulă. Rezultă \[ (n-1)s_n^2=(n-2)s_{n-1}^2+d^2-\frac{2d^2}{n}+\frac{d^2}n=(n-2)s_{n-1}^2+\frac{n-1}{n}\,d^2 . \]■

Verificare pe datele din Exemplul 3. Primele cinci valori, \(2,4,4,5,7\), au media \(\bar x_5=4.4\) și abaterile \(-2.4,-0.4,-0.4,0.6,2.6\), deci \(4s_5^2=5.76+0.16+0.16+0.36+6.76=13.2\). A șasea valoare este \(x_6=8\), cu \(d=8-4.4=3.6\), iar (7) dă \(5s_6^2=13.2+\frac56\cdot3.6^2=13.2+10.8=24\), exact suma găsită în Exemplul 3. Relația spune cum se actualizează varianța când sosește o observație nouă, fără a reface calculul; termenul adăugat este cu atât mai mare cu cât noua observație este mai departe de media celor vechi.

4.2 Enunțul și demonstrația teoremei

Putem acum enunța și demonstra rezultatul central al cursului.

Teorema 16 (Teorema lui Fisher)

Fie \(X_1,X_2,\dots,X_n\), \(n\ge2\), un eșantion de volum \(n\) din populația \(\Norm(\mu,\sigma^2)\), \(\Xbar\) media eșantionului și \(S_n^2\) varianța eșantionului. Atunci:

  1. \(\Xbar\sim\Norm\big(\mu,\sigma^2/n\big)\);

  2. \(\Xbar\) și \(S_n^2\) sunt independente;

  3. \(\dfrac{(n-1)S_n^2}{\sigma^2}=\dfrac1{\sigma^2}\displaystyle\sum_{i=1}^n\big(X_i-\Xbar\big)^2\sim\chisq{n-1}\), repartiția hi-pătrat cu \(n-1\) grade de libertate (Definiția 12).

Demonstrația Teoremei lui Fisher. Ideea demonstrației. (a) F.g.m. a mediei este f.g.m. a unei repartiții normale. (b) Trecem de la \((X_1,\dots,X_n)\) la \((\Xbar,X_2-\Xbar,\dots,X_n-\Xbar)\) printr-o schimbare liniară de variabilă; densitatea noului vector se factorizează într-o funcție de prima coordonată și o funcție de celelalte, iar \(S_n^2\) depinde doar de ultimele \(n-1\) coordonate. (c) Adăugăm observațiile una câte una: din Lema 15, la fiecare pas suma pătratelor abaterilor crește cu pătratul unei normale standard independente de ce exista deja, iar aditivitatea repartiției \(\chi^2\) încheie o inducție după \(n\).

Pasul 0: reducerea la cazul standard. Fie \(Z_i=(X_i-\mu)/\sigma\), \(i=1,\dots,n\). Din Propoziția 18(b) din Cursul 1, \(Z_i\sim\Norm(0,1)\), iar \(Z_1,\dots,Z_n\) sunt independente (funcții de variabile independente, Propoziția 39 din Cursul 1). Avem \(X_i=\mu+\sigma Z_i\), deci, făcând media, \(\Xbar=\mu+\sigma\bar Z_n\); scăzând, \(X_i-\Xbar=\sigma(Z_i-\bar Z_n)\) și \[ \frac{(n-1)S_n^2}{\sigma^2}=\frac1{\sigma^2}\sum_{i=1}^n\sigma^2\big(Z_i-\bar Z_n\big)^2=\sum_{i=1}^n\big(Z_i-\bar Z_n\big)^2 . \tag{8}\] Așadar este suficient să lucrăm cu eșantionul standard \(Z_1,\dots,Z_n\), a cărui densitate comună este, din Propoziția 38(b) din Cursul 1, \[ f_{\mathbf Z}(z_1,\dots,z_n)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}}e^{-z_i^2/2}=(2\pi)^{-n/2}\exp\Big(-\frac12\sum_{i=1}^nz_i^2\Big),\qquad(z_1,\dots,z_n)\in\R^n . \]

(a) Fiecare \(X_i\) are f.g.m. \(M(t)=e^{\mu t+\sigma^2t^2/2}\), \(t\in\R\) (Exemplul 22 din Cursul 1). Din Propoziția 46(c) din Cursul 1, pentru orice \(t\in\R\), \[ M_{\Xbar}(t)=M\Big(\frac tn\Big)^n=\Big(e^{\mu t/n+\sigma^2t^2/(2n^2)}\Big)^n=e^{\mu t+\frac{\sigma^2}{n}\cdot\frac{t^2}{2}}, \] adică f.g.m. a repartiției \(\Norm(\mu,\sigma^2/n)\), finită pe \(\R\); din unicitate (Teorema 33 din Cursul 1), \(\Xbar\sim\Norm(\mu,\sigma^2/n)\).

(b) Pasul 1: \(S_n^2\) este o funcție de abaterile \(X_2-\Xbar,\dots,X_n-\Xbar\). Cum abaterile au suma nulă, \(X_1-\Xbar=-\sum_{i\ge2}(X_i-\Xbar)\), deci \[ S_n^2=\frac1{n-1}\Big[(X_1-\Xbar)^2+\sum_{i=2}^n(X_i-\Xbar)^2\Big]=\frac1{n-1}\Big[\Big(\sum_{i=2}^n(X_i-\Xbar)\Big)^2+\sum_{i=2}^n(X_i-\Xbar)^2\Big], \] adică \(S_n^2=u(X_2-\Xbar,\dots,X_n-\Xbar)\), cu \(u(y_2,\dots,y_n)=\frac1{n-1}\big[(\sum_{j\ge2}y_j)^2+\sum_{j\ge2}y_j^2\big]\), funcție continuă, deci boreliană.

Pasul 2: schimbarea de variabilă. Fie \(g:\R^n\to\R^n\), \(g(z_1,\dots,z_n)=(\bar z_n,\,z_2-\bar z_n,\dots,z_n-\bar z_n)\), și \(\mathbf Y=g(\mathbf Z)=(\bar Z_n,Z_2-\bar Z_n,\dots,Z_n-\bar Z_n)\). Rezolvăm sistemul \(y_1=\bar z_n\), \(y_j=z_j-\bar z_n\) (\(j\ge2\)): din ecuațiile \(j\ge2\), \(z_j=y_1+y_j\), iar din \(z_1=n\bar z_n-\sum_{j\ge2}z_j=ny_1-(n-1)y_1-\sum_{j\ge2}y_j\), \[ g^{-1}(y_1,\dots,y_n)=\Big(y_1-\sum_{j=2}^ny_j,\ y_1+y_2,\ \dots,\ y_1+y_n\Big),\qquad\mathbf y\in\R^n . \] Deci \(g\) este o bijecție liniară a lui \(\R^n\) (în particular injectivă și de clasă \(C^1\)), cu inversa liniară. Matricea iacobiană a lui \(g^{-1}\) are prima linie \((1,-1,\dots,-1)\), iar linia \(j\ge2\) are \(1\) pe pozițiile \(1\) și \(j\) și \(0\) în rest: \[ J_{g^{-1}}=\det\begin{pmatrix}1&-1&-1&\cdots&-1\\1&1&0&\cdots&0\\1&0&1&\cdots&0\\\vdots&&&\ddots&\\1&0&0&\cdots&1\end{pmatrix}=\det\begin{pmatrix}n&0&0&\cdots&0\\1&1&0&\cdots&0\\1&0&1&\cdots&0\\\vdots&&&\ddots&\\1&0&0&\cdots&1\end{pmatrix}=n, \] unde am adunat liniile \(2,\dots,n\) la prima (determinantul nu se schimbă), iar matricea obținută este inferior triunghiulară, cu diagonala \(n,1,\dots,1\). Matricea (constantă) a lui \(g\) este inversa matricei lui \(g^{-1}\), deci \(J_g=1/n\ne0\) pe \(\R^n\), iar ipotezele Teoremei 52 din Cursul 1 sunt îndeplinite cu \(S=T=\R^n\).

Pasul 3: densitatea lui \(\mathbf Y\). Exprimăm \(\sum_iz_i^2\) în noile variabile. Notând \(s=\sum_{j\ge2}y_j\), \[ \begin{aligned} \sum_{i=1}^nz_i^2&=(y_1-s)^2+\sum_{j=2}^n(y_1+y_j)^2=\big(y_1^2-2y_1s+s^2\big)+\Big((n-1)y_1^2+2y_1s+\sum_{j=2}^ny_j^2\Big)\\ &=ny_1^2+\sum_{j=2}^ny_j^2+s^2 \end{aligned} \] (termenii încrucișați \(-2y_1s\) și \(+2y_1s\) se reduc). Din Teorema 52 din Cursul 1, \(f_{\mathbf Y}(\mathbf y)=f_{\mathbf Z}\big(g^{-1}(\mathbf y)\big)\cdot n\), deci, scriind \(n(2\pi)^{-n/2}=\sqrt{\frac{n}{2\pi}}\cdot\frac{\sqrt n}{(2\pi)^{(n-1)/2}}\), \[ f_{\mathbf Y}(y_1,\dots,y_n)=\underbrace{\sqrt{\frac{n}{2\pi}}\,e^{-ny_1^2/2}}_{a(y_1)}\cdot\underbrace{\frac{\sqrt n}{(2\pi)^{(n-1)/2}}\exp\Big(-\frac12\Big[\sum_{j=2}^ny_j^2+\Big(\sum_{j=2}^ny_j\Big)^2\Big]\Big)}_{b(y_2,\dots,y_n)},\qquad\mathbf y\in\R^n . \]

Pasul 4: factorizarea. Densitatea lui \(\mathbf Y\) este produsul dintre o funcție de \(y_1\) și o funcție de \((y_2,\dots,y_n)\), pentru orice \(\mathbf y\in\R^n\). Din Lema 10 din Cursul 4 (cu \(\mathbf U=Y_1=\bar Z_n\) și \(\mathbf V=(Y_2,\dots,Y_n)\)), \(\bar Z_n\indep(Z_2-\bar Z_n,\dots,Z_n-\bar Z_n)\). (Factorul \(a\) este exact densitatea \(\Norm(0,1/n)\), deci \(c_a=1\): regăsim \(\bar Z_n\sim\Norm(0,\frac1n)\).)

Pasul 5: concluzia lui (b). Din Pasul 0, \(\Xbar=\mu+\sigma\bar Z_n\) este o funcție de \(\bar Z_n\), iar \((X_2-\Xbar,\dots,X_n-\Xbar)=\sigma(Z_2-\bar Z_n,\dots,Z_n-\bar Z_n)\) o funcție de \(\mathbf V\); din Pasul 1, \(S_n^2=u(X_2-\Xbar,\dots,X_n-\Xbar)\) este tot o funcție de \(\mathbf V\). Funcțiile (boreliene) a doi vectori independenți sunt independente: pentru boreliene \(A,B\subseteq\R\), \(\PP(\Xbar\in A,\,S_n^2\in B)=\PP(\bar Z_n\in A',\,\mathbf V\in B')=\PP(\bar Z_n\in A')\,\PP(\mathbf V\in B')=\PP(\Xbar\in A)\,\PP(S_n^2\in B)\), unde \(A'\), \(B'\) sunt preimaginile lui \(A\), \(B\) prin funcțiile respective. Deci \(\Xbar\indep S_n^2\).

(c) Din (8), \(\frac{(n-1)S_n^2}{\sigma^2}\) este suma pătratelor abaterilor eșantionului standard \(Z_1,\dots,Z_n\). Este deci suficient să arătăm, prin inducție după \(n\ge2\), afirmația

\((P_n)\): pentru orice eșantion \(Z_1,\dots,Z_n\) din \(\Norm(0,1)\), \((n-1)S_n^2=\sum_{i=1}^n(Z_i-\bar Z_n)^2\sim\chisq{n-1}\).

Pentru \(k\le n\) notăm \(\bar Z_k\) și \(S_k^2\) media și varianța primelor \(k\) observații; \(Z_1,\dots,Z_k\) este el însuși un eșantion de volum \(k\) din \(\Norm(0,1)\).

Verificarea pentru \(n=2\). Din Lema 15 cu \(n=2\) (\(\bar z_1=z_1\)), \(S_2^2=\frac12(Z_2-Z_1)^2=\big((Z_2-Z_1)/\sqrt2\big)^2\). Din Exemplul 30 din Cursul 1 (cu coeficienții \(-1\) și \(1\)), \(Z_2-Z_1\sim\Norm(0,2)\), deci \((Z_2-Z_1)/\sqrt2\sim\Norm(0,1)\) (Propoziția 18(b) din Cursul 1) și \(S_2^2\sim\chisq1\) (Definiția 12 cu \(\nu=1\)).

Pasul de inducție. Presupunem \((P_k)\) adevărată pentru un \(k\ge2\) și fie \(Z_1,\dots,Z_{k+1}\) un eșantion din \(\Norm(0,1)\). Din Lema 15 cu \(n=k+1\), aplicată valorilor \(Z_1(\omega),\dots,Z_{k+1}(\omega)\), \[ kS_{k+1}^2=(k-1)S_k^2+\frac{k}{k+1}\big(Z_{k+1}-\bar Z_k\big)^2=(k-1)S_k^2+W^2,\qquad W=\frac{Z_{k+1}-\bar Z_k}{\sqrt{(k+1)/k}} . \] Verificăm, pe rând, cele trei ingrediente ale aditivității:

  • \((k-1)S_k^2\sim\chisq{k-1}\): este ipoteza de inducție, aplicată eșantionului \(Z_1,\dots,Z_k\).
  • \(W^2\sim\chisq1\): din (a), aplicat primelor \(k\) observații, \(\bar Z_k\sim\Norm(0,\frac1k)\); \(Z_{k+1}\sim\Norm(0,1)\) este independentă de \(\bar Z_k\) (funcție de \(Z_1,\dots,Z_k\), Propoziția 39 din Cursul 1), deci, din Exemplul 30 din Cursul 1, \(Z_{k+1}-\bar Z_k\sim\Norm\big(0,1+\frac1k\big)=\Norm\big(0,\frac{k+1}{k}\big)\), iar variabila standardizată \(W\) este \(\Norm(0,1)\); deci \(W^2\sim\chisq1\).
  • \((k-1)S_k^2\) și \(W^2\) sunt independente: perechea \((\bar Z_k,S_k^2)\) este o funcție de \((Z_1,\dots,Z_k)\), deci independentă de \(Z_{k+1}\), iar \(\bar Z_k\indep S_k^2\) din (b), aplicat primelor \(k\) observații. Pentru boreliene \(A,B,C\subseteq\R\), factorizând întâi după \(Z_{k+1}\) și apoi în interiorul perechii, \[ \begin{aligned} \PP\big(\bar Z_k\in A,\,S_k^2\in B,\,Z_{k+1}\in C\big)&=\PP\big(\bar Z_k\in A,\,S_k^2\in B\big)\,\PP(Z_{k+1}\in C)\\ &=\PP(\bar Z_k\in A)\,\PP(S_k^2\in B)\,\PP(Z_{k+1}\in C), \end{aligned} \] deci \(\bar Z_k\), \(S_k^2\), \(Z_{k+1}\) sunt mutual independente. Atunci \(W^2\), funcție de \((\bar Z_k,Z_{k+1})\), este independentă de \((k-1)S_k^2\), funcție de \(S_k^2\) (Propoziția 39 din Cursul 1).

Din aditivitatea repartiției \(\chi^2\) (Propoziția 13(iii)), \(kS_{k+1}^2\sim\chisq{(k-1)+1}=\chisq k\), adică \((P_{k+1})\). Prin inducție, \((P_n)\) are loc pentru orice \(n\ge2\), iar din (8), \((n-1)S_n^2/\sigma^2\sim\chisq{n-1}\).■

Cum se citește teorema. Punctul (c) se înțelege prin contrast cu următorul fapt: variabilele \(\frac{X_i-\mu}{\sigma}\) sunt i.i.d. \(\Norm(0,1)\), deci, direct din Definiția 12, \(\frac1{\sigma^2}\sum_i(X_i-\mu)^2\sim\chisq n\): înlocuirea mediei necunoscute \(\mu\) cu \(\Xbar\) „consumă” un grad de libertate. Inducția explică exact unde se pierde gradul de libertate: aplicând repetat relația (7), \[ (n-1)S_n^2=\sum_{k=2}^n\frac{k-1}{k}\big(X_k-\bar X_{k-1}\big)^2, \] o sumă de \(n-1\) termeni, fiecare egal cu \(\sigma^2\) înmulțit cu o variabilă \(\chisq1\); prima observație nu contribuie, ea servește doar ca „punct de plecare” pentru medie. Punctul (b) este surprinzător: \(\Xbar\) și \(S_n^2\) sunt calculate din aceleași date, iar \(S_n^2\) conține explicit pe \(\Xbar\); totuși, pentru o populație normală, ele sunt independente. Punctul (a) era cunoscut (Propoziția 12(d) din Cursul 2).

Observație

Unde intervine normalitatea? În (a), prin forma f.g.m., și în (b), prin forma densității: exponentul \(-\frac12\sum_iz_i^2\) s-a despărțit într-un termen care depinde doar de \(y_1\) și unul care depinde doar de \((y_2,\dots,y_n)\); pentru o altă densitate, produsul \(\prod_if(z_i)\) scris în noile variabile nu se factorizează. Calculul covarianțelor nu folosește însă normalitatea: pentru orice populație cu varianță finită, din biliniaritatea covarianței (Propoziția 42(b) din Cursul 1), \[ \Cov\big(\Xbar,X_i-\Xbar\big)=\Cov\big(\Xbar,X_i\big)-\Var(\Xbar)=\frac1n\sum_{j=1}^n\Cov(X_j,X_i)-\frac{\sigma^2}{n}=\frac{\sigma^2}{n}-\frac{\sigma^2}{n}=0 \] (în suma după \(j\) doar termenul \(j=i\) este nenul): media și abaterile sunt necorelate, iar normalitatea transformă necorelarea în independență. Pentru populații nenormale, (a)–(c) sunt false în general, dar (a) și (c) rămân adevărate asimptotic: \(\sqrt n(\Xbar-\mu)\dto\Norm(0,\sigma^2)\) (TLC), iar \(S_n^2\pto\sigma^2\) (Propoziția 8). Independența lui \(\Xbar\) și \(S_n^2\) este o proprietate specifică populațiilor normale: dacă \(X_1,\dots,X_n\), \(n\ge2\), sunt i.i.d., cu varianță finită, și \(\Xbar\indep S_n^2\), atunci populația este normală (teorema lui Geary, 1936, și Lukacs, 1942); admitem acest rezultat, pe care nu îl folosim în curs. Un caz particular este însă la îndemână: din Propoziția 7, pentru orice populație cu \(\mu_3\ne0\), \(\Cov(\Xbar,S_n^2)=\mu_3/n\ne0\), deci cele două statistici nu sunt independente (dacă ar fi, Propoziția 40 din Cursul 1 ar da o covarianță nulă).

Observație

O altă demonstrație. Teorema lui Fisher se poate demonstra și cu repartiția normală multidimensională: se „rotește” vectorul \((Z_1,\dots,Z_n)\) cu o matrice ortogonală (matricea Helmert) a cărei primă linie este \((1/\sqrt n,\dots,1/\sqrt n)\); noile coordonate sunt tot i.i.d. \(\Norm(0,1)\), prima este \(\sqrt n\,\bar Z_n\), iar suma pătratelor celorlalte este \(\sum_i(Z_i-\bar Z_n)^2\) (Hogg et al. 2019, secț. 3.6). Ideea se generalizează la proiecții pe subspații ortogonale (teorema lui Cochran (Delmas 2010, Th. VI.11)), cu aplicații în regresia liniară. Termenii \(\frac{k-1}{k}(Z_k-\bar Z_{k-1})^2\) din inducția de mai sus sunt exact pătratele coordonatelor \(2,\dots,n\) ale acestei rotații.

4.3 Consecințe și exemple

Teorema lui Fisher permite calculul exact al oricărei probabilități și al oricărui moment referitor la \(\Xbar\) și \(S_n^2\), pentru orice volum \(n\ge2\). Începem cu un eșantion foarte mic, pentru care totul se calculează de mână.

Exemplul 8 (Un eșantion de volum 3)

Fie \(X_1,X_2,X_3\) un eșantion din \(\Norm(\mu,\sigma^2)\). Aplicăm direct teorema lui Fisher, cu \(n=3\).

Repartițiile. Din (a), \(\bar X_3\sim\Norm(\mu,\sigma^2/3)\); din (c), \(Q=2S_3^2/\sigma^2\sim\chisq2\). Pentru \(\nu=2\), densitatea (6) este \(\frac{1}{2\Gamma(1)}x^0e^{-x/2}=\frac12e^{-x/2}\), \(x>0\), deci \(\chisq2=\Exp(\frac12)\) și \(\PP(Q>q)=e^{-q/2}\) pentru \(q\ge0\).

Probabilități pentru \(S_3^2\). Înmulțind inegalitățile cu \(2/\sigma^2>0\), \[ \PP\big(S_3^2>\sigma^2\big)=\PP(Q>2)=e^{-1}\approx0.368,\qquad\PP\Big(S_3^2\le\frac{\sigma^2}{10}\Big)=\PP(Q\le0.2)\approx0.095, \] deoarece \(\PP(Q\le0.2)=1-e^{-0.1}\). Cu trei observații, varianța eșantionului depășește varianța populației cu probabilitatea \(0.37\), deși \(\E[S_3^2]=\sigma^2\), și este de peste zece ori mai mică decât ea aproape o dată din zece: estimarea varianței din foarte puține date este nesigură.

Independența. Din (b) și din simetria lui \(\bar X_3\) față de \(\mu\), \[ \PP\big(\bar X_3>\mu,\ S_3^2>\sigma^2\big)=\PP(\bar X_3>\mu)\,\PP(S_3^2>\sigma^2)=\frac12\,e^{-1}\approx0.184 . \]

c(P1 = exp(-1), P2 = 1 - exp(-0.1), P12 = exp(-1) / 2)
#>      P1      P2     P12 
#> 0.36788 0.09516 0.18394
set.seed(5); B <- 1e5
X <- matrix(rnorm(3 * B, mean = 10, sd = 2), nrow = B)   # sigma^2 = 4
m <- rowMeans(X); s2 <- apply(X, 1, var)
c(P1 = mean(s2 > 4), P2 = mean(s2 <= 0.4), P12 = mean(m > 10 & s2 > 4))
#>      P1      P2     P12 
#> 0.36888 0.09495 0.18466

Cu Teorema 16 putem calcula exact momentele lui \(S_n^2\) și, mai ales, ale abaterii standard \(S_n\).

Corolarul 17 (Momentele lui \(S_n^2\) și \(S_n\) pentru populații normale)

În condițiile Teoremei 16, \[ \E\big[S_n^2\big]=\sigma^2,\quad\Var\big(S_n^2\big)=\frac{2\sigma^4}{n-1},\quad \E[S_n]=c_4(n)\,\sigma,\quad c_4(n)=\sqrt{\frac2{n-1}}\,\frac{\Gamma(n/2)}{\Gamma((n-1)/2)} . \]

Demonstrație. Ideea demonstrației. Din teorema lui Fisher, \(S_n^2\) este un multiplu al unei variabile \(Q\sim\chisq{n-1}\), iar \(S_n\) un multiplu al lui \(Q^{1/2}\); momentele cerute sunt deci momente (de ordin \(1\), \(2\) și \(\frac12\)) ale repartiției \(\chi^2\), calculate în Propoziția 13.

Fie \(Q=(n-1)S_n^2/\sigma^2\sim\chisq{n-1}\) (Teorema 16(c)); din Propoziția 13(ii), \(\E[Q]=n-1\) și \(\Var(Q)=2(n-1)\). Cum \(S_n^2=\frac{\sigma^2}{n-1}Q\), din \(\E[cQ]=c\,\E[Q]\) și \(\Var(cQ)=c^2\Var(Q)\), \[ \E[S_n^2]=\frac{\sigma^2}{n-1}(n-1)=\sigma^2,\qquad\Var(S_n^2)=\frac{\sigma^4}{(n-1)^2}\cdot2(n-1)=\frac{2\sigma^4}{n-1}, \] adică exact cazul particular \(\mu_4=3\sigma^4\) al Propoziției 6, obținut acum fără calculul momentelor mixte. Apoi \(S_n=\frac{\sigma}{\sqrt{n-1}}Q^{1/2}\), iar din Propoziția 13(iv) cu \(\nu=n-1\) și \(r=\frac12>-\frac{\nu}2\), \[ \E\big[Q^{1/2}\big]=\frac{2^{1/2}\,\Gamma\big(\frac{n-1}2+\frac12\big)}{\Gamma\big(\frac{n-1}2\big)}=\sqrt2\,\frac{\Gamma(n/2)}{\Gamma\big((n-1)/2\big)}, \] deci, din liniaritatea mediei, \[ \E[S_n]=\frac{\sigma}{\sqrt{n-1}}\,\E\big[Q^{1/2}\big]=\frac{\sigma}{\sqrt{n-1}}\sqrt2\,\frac{\Gamma(n/2)}{\Gamma\big((n-1)/2\big)}=\sqrt{\frac{2}{n-1}}\,\frac{\Gamma(n/2)}{\Gamma\big((n-1)/2\big)}\,\sigma=c_4(n)\,\sigma . \] De exemplu, \(c_4(2)=\sqrt2\,\Gamma(1)/\Gamma(1/2)=\sqrt{2/\pi}\approx0.798\): cu două observații, \(S_n\) subestimează în medie \(\sigma\) cu aproximativ \(20\%\).■

Valorile constantei \(c_4(n)\) cresc spre \(1\): \(c_4(3)\approx0.886\), \(c_4(5)\approx0.940\), \(c_4(10)\approx0.973\), \(c_4(30)\approx0.991\), \(c_4(100)\approx0.997\) (în R: sqrt(2 / (n - 1)) * gamma(n / 2) / gamma((n - 1) / 2)). Deplasarea lui \(S_n\) este deci neglijabilă pentru eșantioane moderate, dar nu pentru cele foarte mici; estimatorul corectat \(S_n/c_4(n)\) este nedeplasat pentru \(\sigma\), din liniaritatea mediei. Teorema lui Fisher permite, mai mult, calculul oricărei probabilități referitoare la \(S_n^2\).

Exemplul 9 (Cât de mult poate depăși \(S_n^2\) varianța populației)

Fie \(X_1,\dots,X_7\) un eșantion din \(\Norm(\mu,\sigma^2)\). Determinăm \(c\) astfel încât \(\PP(S_n^2\le c\,\sigma^2)=0.95\).

Rezolvare. Cum \(\sigma^2>0\) și \(n-1=6\), evenimentul se rescrie cu variabila \(Q=6S_n^2/\sigma^2\sim\chisq6\) (Teorema 16(c)): \[ \PP\big(S_n^2\le c\,\sigma^2\big)=\PP\Big(\frac{6S_n^2}{\sigma^2}\le6c\Big)=\PP(Q\le6c)=0.95\iff6c=\chi^2_{6,0.95}\approx12.592, \] deci \(c\approx2.099\). Cu \(7\) observații, varianța eșantionului depășește de \(2.1\) ori varianța populației cu probabilitatea \(5\%\) (iar dublul ei cu probabilitatea \(\PP(Q>12)\approx0.062\)); răspunsul nu depinde de \(\mu\) și \(\sigma\). Invers, \(\PP(S_n^2\le\sigma^2/2)=\PP(Q\le3)\approx0.191\): subestimări de peste jumătate apar aproape o dată din cinci.

c(c = qchisq(0.95, df = 6) / 6, P_sub_jumatate = pchisq(3, df = 6))
#>              c P_sub_jumatate 
#>         2.0986         0.1912
Exemplul 10 (Controlul variabilității unui proces de umplere)

O mașină umple pachete cu un volum \(X\sim\Norm(\mu,\sigma^2)\), iar procesul este considerat sub control dacă \(\sigma=0.5\). La fiecare oră se măsoară \(n=20\) de pachete, iar mașina este oprită pentru reglaj dacă \(s_n^2>0.4\).

(1) Probabilitatea unei opriri inutile. Sub control, \(\sigma^2=0.25\) și \(Q=\frac{19S_n^2}{0.25}\sim\chisq{19}\). Înmulțind inegalitatea cu constanta pozitivă \(19/0.25\), \[ \PP\big(S_n^2>0.4\big)=\PP\Big(Q>\frac{19\cdot0.4}{0.25}\Big)=\PP\big(\chisq{19}>30.4\big)\approx0.0469 . \] Aproximativ una din \(21\) de verificări produce o oprire inutilă; răspunsul nu depinde de \(\mu\).

(2) Pragul pentru un risc de \(5\%\). \(\PP(S_n^2>c)=\PP\big(Q>19c/0.25\big)=0.05\) dacă și numai dacă \(19c/0.25=\chi^2_{19,0.95}\approx30.144\), adică \(c=\frac{0.25\cdot30.144}{19}\approx0.3966\).

(3) Sensibilitatea. Dacă \(\sigma=0.6\) (\(\sigma^2=0.36\)), probabilitatea ca dereglarea să fie detectată la o verificare este \[ \PP\big(S_n^2>0.4\big)=\PP\Big(\chisq{19}>\frac{19\cdot0.4}{0.36}\Big)=\PP\big(\chisq{19}>21.11\big)\approx0.331 : \] o creștere cu \(20\%\) a abaterii standard este detectată doar o dată din trei verificări. Aceste calcule anticipează noțiunile de risc de tip I și de putere ale unui test (Cursul 14).

c(P_oprire = 1 - pchisq(19 * 0.4 / 0.25, df = 19),
  prag = 0.25 * qchisq(0.95, df = 19) / 19,
  P_detectie = 1 - pchisq(19 * 0.4 / 0.36, df = 19))
#>   P_oprire       prag P_detectie 
#>    0.04692    0.39663    0.33069
set.seed(3)                           # simulare sub control (sigma = 0.5)
s2 <- apply(matrix(rnorm(20 * 1e5, mean = 250, sd = 0.5), ncol = 20), 1, var)
mean(s2 > 0.4)
#> [1] 0.04698

Figura 3 verifică prin simulare teorema lui Fisher și ilustrează rolul normalității.

Arată codul R
set.seed(88)
n <- 6; mu <- 5; sigma <- 2; B <- 10000
X <- matrix(rnorm(n * B, mu, sigma), nrow = B)        # un eșantion pe linie
m <- rowMeans(X); s2 <- apply(X, 1, var)
hist_dens <- function(v, f, g, titlu, lim) {   # histogramă + 2 densități
  xx <- seq(lim[1], lim[2], length.out = 400)
  ggplot(data.frame(v = v[v > lim[1] & v < lim[2]]), aes(v)) +
    geom_histogram(aes(y = after_stat(density)), bins = 60, alpha = 0.75,
                   fill = culori[["albastru"]], colour = "white") +
    geom_line(data = data.frame(x = xx, y = f(xx)), aes(x, y),
              colour = culori[["rosu"]]) +               # densitatea corectă
    geom_line(data = data.frame(x = xx, y = g(xx)), aes(x, y),
              colour = "grey40", linetype = 2) +     # densitatea greșită
    labs(title = titlu, x = NULL, y = NULL)
}
p1 <- hist_dens((n - 1) * s2 / sigma^2, function(x) dchisq(x, n - 1),
                function(x) dchisq(x, n), expression((n-1)*S[n]^2/sigma^2),
                c(0, 18))
p2 <- hist_dens((m - mu) / sqrt(s2 / n), function(x) dt(x, n - 1), dnorm,
                expression((bar(X)[n]-mu)/(S[n]/sqrt(n))), c(-6, 6))
# populație exponențială translatată: medie mu, abatere standard sigma
Y <- matrix(mu - sigma + rexp(n * 1500, rate = 1 / sigma), nrow = 1500)
dd <- rbind(data.frame(m = m[1:1500], s = s2[1:1500], pop = "normală"),
            data.frame(m = rowMeans(Y), s = apply(Y, 1, var),
                       pop = "exponențială"))
p3 <- ggplot(dd, aes(m, s, colour = pop)) +
  geom_point(size = 0.35, alpha = 0.5) +
  scale_colour_manual(values = unname(culori[c("portocaliu", "albastru")])) +
  guides(colour = guide_legend(override.aes = list(size = 2, alpha = 1))) +
  coord_cartesian(ylim = c(0, 25)) +
  theme(legend.position = c(0.3, 0.9), legend.key.size = unit(0.3, "cm"),
        legend.background = element_rect(fill = "white", colour = NA)) +
  labs(title = "Medie și varianță", x = expression(bar(x)[n]),
       y = expression(s[n]^2), colour = NULL)
p1 + p2 + p3
Figura 3: Verificarea teoremei lui Fisher prin simulare (\(10\,000\) de eșantioane de volum \(n=6\) din \(\mathcal N(5,4)\)). Stânga: \((n-1)S_n^2/\sigma^2\) și densitatea \(\chi^2_5\) (roșu); densitatea \(\chi^2_6\) (gri, întrerupt) nu se potrivește. Centru: \((\bar X_n-\mu)/(S_n/\sqrt n)\), densitatea Student \(t_5\) (roșu; secțiunea următoare) și densitatea \(\mathcal N(0,1)\) (gri, întrerupt). Dreapta: perechile \((\bar x_n,s_n^2)\) pentru populația normală (albastru) și pentru o populație exponențială translatată cu aceeași medie și varianță (portocaliu).

În panoul din dreapta, norul „normal” nu are nicio structură (independență), pe când pentru populația exponențială varianța eșantionului crește vizibil cu media. Corelația teoretică se obține din formula de la sfârșitul Secțiunea 2.3: pentru o populație exponențială (translatată sau nu), \(\mu_3=2\sigma^3\) și \(\mu_4=9\sigma^4\) (Exemplul 4, cu schimbarea de scală \(\sigma\)), deci \[ \Corr(\Xbar,S_n^2)=\frac{2\sigma^3}{\sigma\sqrt{9\sigma^4-\frac{n-3}{n-1}\sigma^4}}=\frac{2}{\sqrt{\frac{9(n-1)-(n-3)}{n-1}}}=2\sqrt{\frac{n-1}{8n-6}}, \] adică \(2\sqrt{5/42}\approx0.69\) pentru \(n=6\).

5 Repartițiile Student și Fisher–Snedecor

Teorema lui Fisher rezolvă problema repartiției lui \(\Xbar\) când \(\sigma\) este cunoscut: \(\frac{\Xbar-\mu}{\sigma/\sqrt n}\sim\Norm(0,1)\). În practică însă \(\sigma\) este aproape întotdeauna necunoscut și îl înlocuim cu \(S_n\). Scriem \[ \frac{\Xbar-\mu}{S_n/\sqrt n}=\frac{\Xbar-\mu}{\sigma/\sqrt n}\cdot\frac{\sigma}{S_n} =\frac{\dfrac{\Xbar-\mu}{\sigma/\sqrt n}}{\sqrt{\dfrac{(n-1)S_n^2/\sigma^2}{n-1}}} . \] Din Teorema 16, numărătorul \(Z\) este \(\Norm(0,1)\), \(Q=(n-1)S_n^2/\sigma^2\sim\chisq{n-1}\), iar \(Z\) și \(Q\) sunt independente. Raportul are deci forma \(Z/\sqrt{Q/(n-1)}\), ceea ce motivează următoarea definiție; analog, raportul a două varianțe de eșantion independente conduce la repartiția Fisher–Snedecor (Casella and Berger 2002, secț. 5.3.2).

5.1 Repartiția Student

Notă istorică

Repartiția a fost introdusă în 1908 de chimistul William Sealy Gosset, angajat al fabricii de bere Guinness din Dublin, într-un articol publicat sub pseudonimul Student. Gosset lucra cu eșantioane mici și a observat că, înlocuind \(\sigma\) cu \(S_n\), cuantilele normale subestimează incertitudinea. Demonstrația riguroasă a formei densității a fost dată de R. A. Fisher în 1925.

Definiția 18 (Repartiția Student)

Fie \(Z\sim\Norm(0,1)\) și \(Q\sim\chisq\nu\) independente. Repartiția variabilei aleatoare \[ T=\frac{Z}{\sqrt{Q/\nu}} \] se numește repartiția Student (sau repartiția \(t\)) cu \(\nu\) grade de libertate și se notează \(T\sim\Stud\nu\).

Ca și pentru \(\chi^2\), repartiția lui \(T\) depinde doar de \(\nu\), deoarece densitatea comună a perechii independente \((Z,Q)\) este produsul densităților marginale. O calculăm acum explicit.

Propoziția 19 (Proprietățile repartiției Student)

Fie \(T\sim\Stud\nu\). Atunci:

  1. \(T\) are densitatea \[ f_T(t)=\frac{\Gamma\big(\frac{\nu+1}2\big)}{\sqrt{\nu\pi}\,\Gamma\big(\frac\nu2\big)}\Big(1+\frac{t^2}{\nu}\Big)^{-\frac{\nu+1}2},\qquad t\in\R ; \tag{9}\]

  2. repartiția este simetrică față de \(0\): \(-T\sim\Stud\nu\) și \(t_{\nu,1-p}=-t_{\nu,p}\);

  3. pentru \(r\ge0\), \(\E|T|^r<\infty\) dacă și numai dacă \(r<\nu\); \(\E[T]=0\) pentru \(\nu\ge2\) și \(\Var(T)=\dfrac{\nu}{\nu-2}\) pentru \(\nu\ge3\);

  4. \(T_\nu\dto\Norm(0,1)\) când \(\nu\to\infty\); mai mult, \(f_T(t)\to\frac1{\sqrt{2\pi}}e^{-t^2/2}\) pentru orice \(t\in\R\).

Demonstrație. Ideea demonstrației. Pentru (i), completăm \(T\) cu variabila auxiliară \(W=Q\), calculăm densitatea comună a lui \((T,W)\) cu formula schimbării de variabilă și integrăm apoi în raport cu \(w\); integrala este de tip Gamma. Punctul (ii) rezultă din simetria lui \(Z\), (iii) din comportarea densității la infinit (de tip \(|t|^{-(\nu+1)}\)) și din independența dintre \(Z^2\) și \(1/Q\), iar (iv) din LNM (\(Q_\nu/\nu\to1\)) și lema lui Slutsky.

  1. Pasul 1: transformarea. Din independență, vectorul \((Z,Q)\) are densitatea \(f_Z(z)f_Q(q)\) (Propoziția 38(b) din Cursul 1), nulă în afara deschisului \(A=\R\times(0,\infty)\), deci \(\PP\big((Z,Q)\in A\big)=1\). Aplicația \(h(z,q)=\big(z/\sqrt{q/\nu},\ q\big)\) duce \(A\) în el însuși și este bijectivă: sistemul \(t=z/\sqrt{q/\nu}\), \(w=q\) are, pentru orice \((t,w)\in A\), soluția unică \(z=t\sqrt{w/\nu}\), \(q=w\), din \(A\). Ambele aplicații sunt de clasă \(C^1\) pe \(A\) (pe \(A\), \(q>0\) și \(w>0\)), iar iacobianul lui \(h\) nu se anulează: matricea iacobiană a lui \(h\) este triunghiulară, cu diagonala \(\partial t/\partial z=\sqrt{\nu/q}\), \(\partial w/\partial q=1\) și cu \(\partial w/\partial z=0\), deci \(J_h(z,q)=\sqrt{\nu/q}\ne0\). Sunt îndeplinite ipotezele Teoremei 52 din Cursul 1, cu \(S=T=A\). Matricea iacobiană a inversei \(h^{-1}(t,w)=\big(t\sqrt{w/\nu},\,w\big)\) are elementele \(\partial z/\partial t=\sqrt{w/\nu}\), \(\partial z/\partial w=\frac{t}{\sqrt\nu}\cdot\frac{1}{2\sqrt w}=\frac{t}{2\sqrt{\nu w}}\), \(\partial q/\partial t=0\), \(\partial q/\partial w=1\), deci \[ J_{h^{-1}}(t,w)=\det\begin{pmatrix}\sqrt{w/\nu}&\dfrac{t}{2\sqrt{\nu w}}\\[2mm]0&1\end{pmatrix}=\sqrt{\frac w\nu}>0 . \]

Pasul 2: densitatea comună. Din Teorema 52 din Cursul 1, cu \(f_Z(z)=\frac1{\sqrt{2\pi}}e^{-z^2/2}\) și \(f_Q\) dată de (6), pentru \(t\in\R\), \(w>0\), \[ \begin{aligned} f_{(T,W)}(t,w)&=f_Z\big(t\sqrt{w/\nu}\big)\,f_Q(w)\,\sqrt{\frac w\nu} =\frac1{\sqrt{2\pi}}e^{-\frac{t^2w}{2\nu}}\cdot\frac{w^{\nu/2-1}e^{-w/2}}{2^{\nu/2}\Gamma(\nu/2)}\cdot\frac{w^{1/2}}{\sqrt\nu}\\ &=\frac{1}{\sqrt{2\pi\nu}\;2^{\nu/2}\,\Gamma(\nu/2)}\;w^{\frac{\nu+1}2-1}\exp\Big(-\frac w2\Big(1+\frac{t^2}\nu\Big)\Big), \end{aligned} \] unde am adunat exponenții lui \(w\) (\(\frac\nu2-1+\frac12=\frac{\nu+1}2-1\)) și am grupat termenii din exponențială.

Pasul 3: integrarea în \(w\). Densitatea marginală a lui \(T\) este \(f_T(t)=\int_0^\infty f_{(T,W)}(t,w)\dd w\) (Propoziția 36 din Cursul 1). Din (5) cu \(\beta=\frac{\nu+1}2\) și \(\theta=\frac12\big(1+\frac{t^2}\nu\big)\), \[ \int_0^\infty w^{\frac{\nu+1}2-1}e^{-\theta w}\dd w=\frac{\Gamma\big(\frac{\nu+1}2\big)}{\theta^{(\nu+1)/2}}=\Gamma\Big(\frac{\nu+1}2\Big)\,2^{\frac{\nu+1}2}\Big(1+\frac{t^2}\nu\Big)^{-\frac{\nu+1}2}. \] Rezultă \[ f_T(t)=\frac{2^{\frac{\nu+1}2}}{\sqrt{2\pi\nu}\;2^{\nu/2}}\cdot\frac{\Gamma\big(\frac{\nu+1}2\big)}{\Gamma\big(\frac\nu2\big)}\Big(1+\frac{t^2}\nu\Big)^{-\frac{\nu+1}2} =\frac{\Gamma\big(\frac{\nu+1}2\big)}{\sqrt{\nu\pi}\,\Gamma\big(\frac\nu2\big)}\Big(1+\frac{t^2}{\nu}\Big)^{-\frac{\nu+1}2}, \] deoarece \(\frac{2^{(\nu+1)/2}}{2^{\nu/2}\sqrt{2\pi\nu}}=\frac{\sqrt2}{\sqrt2\sqrt{\pi\nu}}=\frac1{\sqrt{\nu\pi}}\). Verificare pentru \(\nu=1\): \(\Gamma(1)=1\), \(\Gamma(1/2)=\sqrt\pi\), deci \(f_T(t)=\frac{1}{\pi(1+t^2)}\), a cărei integrală este \(\frac1\pi\big[\arctan t\big]_{-\infty}^\infty=1\).

  1. \(-Z\sim\Norm(0,1)\) și \(-Z\) rămâne independentă de \(Q\), deci perechea \((-Z,Q)\) are aceeași repartiție ca \((Z,Q)\), iar \(-T=(-Z)/\sqrt{Q/\nu}\) are aceeași repartiție ca \(T\) (echivalent: densitatea (9) este pară). Pentru cuantile, \(T\) fiind continuă, \(\PP\big(T\le-t_{\nu,p}\big)=\PP\big(-T\ge t_{\nu,p}\big)=\PP\big(T\ge t_{\nu,p}\big)=1-p\), deci \(-t_{\nu,p}\) este cuantila de ordin \(1-p\).

  2. Existența momentelor (schiță). Pentru \(|t|\ge1\) avem \(\frac{t^2}{\nu}\le1+\frac{t^2}{\nu}\le\big(1+\frac1\nu\big)t^2\), deci densitatea (9) este cuprinsă între două constante pozitive înmulțite cu \(|t|^{-(\nu+1)}\); atunci \(\E|T|^r\) este finită dacă și numai dacă \(\int_1^\infty t^{r-\nu-1}\dd t<\infty\), adică \(r-\nu-1<-1\), \(r<\nu\) (Casella and Berger 2002, secț. 5.3).

Media. Pentru \(\nu\ge2\), luând \(r=1<\nu\), \(\E|T|<\infty\); funcția \(t\mapsto tf_T(t)\) este impară și absolut integrabilă, deci \(\E[T]=\int_{-\infty}^0tf_T(t)\dd t+\int_0^\infty tf_T(t)\dd t=-\int_0^\infty sf_T(s)\dd s+\int_0^\infty tf_T(t)\dd t=0\) (cu schimbarea \(t=-s\) în prima integrală).

Varianța. Pentru \(\nu\ge3\), luând \(r=2<\nu\), \(\E[T^2]<\infty\). Scriem \(T^2=\nu Z^2\cdot\frac1Q\), cu \(Z^2\) și \(1/Q\) independente (funcții de \(Z\), respectiv de \(Q\), Propoziția 39 din Cursul 1) și nenegative, deci, din \(\E[T]=0\), din Propoziția 40 din Cursul 1 și din Propoziția 13(iv) (\(\E[1/Q]=\frac1{\nu-2}\), deoarece \(\nu>2\)), \[ \Var(T)=\E[T^2]=\nu\,\E[Z^2]\,\E\Big[\frac1Q\Big]=\nu\cdot1\cdot\frac{1}{\nu-2}=\frac{\nu}{\nu-2}. \] Observăm că \(\Var(T)>1=\Var(Z)\): împărțirea la variabila aleatoare \(\sqrt{Q/\nu}\) (cu media apropiată de \(1\)) mărește dispersia.

  1. Convergența în repartiție. Repartiția lui \(T_\nu\) depinde doar de \(\nu\), deci putem realiza toate variabilele pe același câmp de probabilitate: fie \(Z,Z_1,Z_2,\dots\) i.i.d. \(\Norm(0,1)\), \(Q_\nu=\sum_{i=1}^\nu Z_i^2\) și \(T_\nu=Z/\sqrt{Q_\nu/\nu}\sim\Stud\nu\). Variabila \(Z\) este independentă de \(Q_\nu\) (funcție de \(Z_1,\dots,Z_\nu\)), deci într-adevăr \(T_\nu\sim\Stud\nu\). Variabilele \(Z_i^2\) sunt i.i.d. și integrabile, deci, din LNM tare (Teorema 61 din Cursul 1), \(Q_\nu/\nu=\frac1\nu\sum_{i=1}^\nu Z_i^2\asto\E[Z_1^2]=1\); din teorema aplicațiilor continue (Teorema 57(a) din Cursul 1, cu funcția continuă \(x\mapsto\sqrt x\) pe \([0,\infty)\)), \(\sqrt{Q_\nu/\nu}\asto1\), deci și în probabilitate (Teorema 56(a) din Cursul 1). Aplicăm lema lui Slutsky (Teorema 58(c) din Cursul 1) șirului constant \(X_\nu=Z\dto Z\) și șirului \(Y_\nu=\sqrt{Q_\nu/\nu}\pto1\ne0\): \(T_\nu=X_\nu/Y_\nu\dto Z/1=Z\sim\Norm(0,1)\).

Convergența densităților. Fie \(t\in\R\) fixat. Din limita fundamentală \((1+x/\nu)^\nu\to e^x\), \[ \Big(1+\frac{t^2}\nu\Big)^{-\frac{\nu+1}2}=\Big[\Big(1+\frac{t^2}\nu\Big)^{\nu}\Big]^{-1/2}\Big(1+\frac{t^2}\nu\Big)^{-1/2}\xrightarrow[\nu\to\infty]{}\big(e^{t^2}\big)^{-1/2}\cdot1=e^{-t^2/2}, \] iar constanta \(c_\nu=\frac{\Gamma((\nu+1)/2)}{\sqrt{\nu\pi}\,\Gamma(\nu/2)}\) tinde la \(\frac1{\sqrt{2\pi}}\), din formula lui Stirling pentru funcția Gamma (Knight 2000, Ex. 3.4). Deci \(f_T(t)\to\frac1{\sqrt{2\pi}}e^{-t^2/2}\).■

Observație

Pentru \(\nu=1\), \(\Stud1\) este repartiția Cauchy standard, cu densitatea \(\frac{1}{\pi(1+t^2)}\) și funcția de repartiție \(\frac12+\frac1\pi\arctan t\); ea nu are medie, deoarece \(\int_0^\infty\frac{t}{\pi(1+t^2)}\dd t=\lim_{s\to\infty}\frac1{2\pi}\log(1+s^2)=\infty\). În general, \(\Stud\nu\) are momente doar până la ordinul \(\nu-1\): repartiția Student are cozi grele, de tip putere (\(|t|^{-(\nu+1)}\), față de \(e^{-t^2/2}\) pentru normală), care se subțiază când \(\nu\) crește (Figura 4). Raportul \(Z_1/Z_2\) a două normale standard independente are și el repartiția Cauchy (se arată cu metoda de la punctul (i), cu variabila auxiliară \(W=Z_2\)).

Arată codul R
tt <- seq(-5, 5, length.out = 500)
nn <- c(1, 3, 10)
d <- do.call(rbind, lapply(nn, function(k)
  data.frame(t = tt, y = dt(tt, k), c = 2 * pt(-abs(tt), k),
             nu = paste("ν =", k))))
d$nu <- factor(d$nu, levels = paste("ν =", nn))
dn <- data.frame(t = tt, y = dnorm(tt), c = 2 * pnorm(-abs(tt)))  # normala
p1 <- ggplot(d, aes(t, y, colour = nu)) + geom_line() +
  geom_line(data = dn, aes(t, y), colour = "black", linetype = 2,
            inherit.aes = FALSE) +
  labs(title = "Densități", x = "t", y = "densitate", colour = NULL)
p2 <- ggplot(subset(d, t >= 1), aes(t, c, colour = nu)) + geom_line() +
  geom_line(data = subset(dn, t >= 1), aes(t, c), colour = "black",
            linetype = 2, inherit.aes = FALSE) +
  scale_y_log10() +
  labs(title = "Cozi: P(|T| > t)", x = "t", y = "probabilitate (log)",
       colour = NULL)
p1 + p2 + plot_layout(guides = "collect")
Figura 4: Stânga: densitățile repartițiilor Student \(t_\nu\) pentru \(\nu=1,3,10\), comparate cu densitatea \(\mathcal N(0,1)\) (negru, întrerupt). Dreapta: probabilitățile cozilor \(\mathbb P(|T|>t)\), pe scară logaritmică.
Exemplul 11 (Cuantile Student și cuantile normale)

Cuantila \(t_{\nu,0.975}\) joacă, pentru repartiția Student, rolul valorii \(z_{0.975}\approx1.96\). Pentru \(\nu=1\) și \(\nu=2\) o putem calcula explicit.

\(\nu=1\). Din \(F(t)=\frac12+\frac1\pi\arctan t=p\) obținem \(t_{1,p}=\tan\big(\pi(p-\frac12)\big)\), deci \(t_{1,0.975}=\tan(0.475\pi)\approx12.706\).

\(\nu=2\). Densitatea (9) este \(f(t)=\frac{\Gamma(3/2)}{\sqrt{2\pi}\,\Gamma(1)}\big(1+\frac{t^2}2\big)^{-3/2}=\frac{\sqrt\pi/2}{\sqrt{2\pi}}\cdot\frac{2^{3/2}}{(2+t^2)^{3/2}}=(2+t^2)^{-3/2}\). Funcția de repartiție este \(F(t)=\frac12+\frac{t}{2\sqrt{2+t^2}}\) (are limitele \(0\) și \(1\), iar derivata ei este \(\frac12\cdot\frac{(2+t^2)-t^2}{(2+t^2)^{3/2}}=(2+t^2)^{-3/2}\)). Ecuația \(F(t)=p\) devine, cu \(u=2p-1\), \(\frac{t}{\sqrt{2+t^2}}=u\), adică \(t^2(1-u^2)=2u^2\) și \(t_{2,p}=u\sqrt{2/(1-u^2)}\); pentru \(p=0.975\), \(u=0.95\) și \(t_{2,0.975}=0.95\sqrt{2/0.0975}\approx4.303\).

Comparație. Pentru \(\nu\) mic diferența față de \(1.96\) este considerabilă: \(t_{5,0.975}\approx2.571\), \(t_{10,0.975}\approx2.228\), \(t_{30,0.975}\approx2.042\), \(t_{100,0.975}\approx1.984\); cuantilele descresc spre \(z_{0.975}\), conform Propoziției 19(iv). Cozile sunt și mai sensibile: \(\PP(|T|>3)\) este \(0.0027\) pentru \(\Norm(0,1)\), dar \(0.0133\) pentru \(\Stud{10}\) (de aproape \(5\) ori mai mare) și \(0.0577\) pentru \(\Stud3\).

nu <- c(1, 2, 5, 10, 30, 100)
rbind(nu = nu, t_0.975 = round(qt(0.975, df = nu), 3),     # vs 1.96
      P_coada = round(2 * pt(-3, df = nu), 4))             # P(|T| > 3)
#>            [,1]   [,2]   [,3]    [,4]    [,5]     [,6]
#> nu       1.0000 2.0000 5.0000 10.0000 30.0000 100.0000
#> t_0.975 12.7060 4.3030 2.5710  2.2280  2.0420   1.9840
#> P_coada  0.2048 0.0955 0.0301  0.0133  0.0054   0.0034
c(t1 = tan(0.475 * pi), t2 = 0.95 * sqrt(2 / 0.0975), N = 2 * pnorm(-3))
#>      t1      t2       N 
#> 12.7062  4.3027  0.0027

5.2 Statistica Student

Aplicația fundamentală a repartiției Student este următoarea consecință a teoremei lui Fisher.

Corolarul 20 (Statistica Student)

Fie \(X_1,\dots,X_n\), \(n\ge2\), un eșantion din \(\Norm(\mu,\sigma^2)\). Atunci \[ \frac{\Xbar-\mu}{S_n/\sqrt n}\sim\Stud{n-1}. \]

Demonstrație. Ideea demonstrației. Împărțim numărătorul și numitorul la \(\sigma\): numărătorul devine o normală standard, numitorul devine \(\sqrt{Q/(n-1)}\) cu \(Q\sim\chisq{n-1}\), iar teorema lui Fisher asigură independența lor; este exact situația din definiția repartiției Student.

Din Teorema 16(c), \((n-1)S_n^2/\sigma^2\sim\chisq{n-1}\) are o densitate, deci \(\PP(S_n=0)=\PP\big((n-1)S_n^2/\sigma^2=0\big)=0\): \(S_n>0\) a.s. și raportul este bine definit a.s. Scriem \[ \frac{\Xbar-\mu}{S_n/\sqrt n}=\frac{\Xbar-\mu}{\sigma/\sqrt n}\cdot\frac{\sigma}{S_n}=\frac{Z}{\sqrt{Q/(n-1)}},\qquad Z=\frac{\Xbar-\mu}{\sigma/\sqrt n},\quad Q=\frac{(n-1)S_n^2}{\sigma^2}, \] deoarece \(\sqrt{Q/(n-1)}=S_n/\sigma\). Din Teorema 16(a) și Propoziția 18 din Cursul 1, \(Z\sim\Norm(0,1)\); din Teorema 16(c), \(Q\sim\chisq{n-1}\); din Teorema 16(b), \(Z\indep Q\) (\(Z\) este funcție de \(\Xbar\), iar \(Q\) de \(S_n^2\)). Sunt îndeplinite exact ipotezele Definiției 18 cu \(\nu=n-1\). Independența este esențială: fără ea, raportul \(Z/\sqrt{Q/(n-1)}\) nu ar avea, în general, repartiția Student, chiar dacă \(Z\) și \(Q\) ar avea repartițiile marginale corecte.■

Statistica \(\frac{\Xbar-\mu}{\sigma/\sqrt n}\) nu poate fi folosită atunci când \(\sigma\) este necunoscut; înlocuind \(\sigma\) cu \(S_n\) obținem o variabilă a cărei repartiție (\(\Stud{n-1}\)) nu depinde de niciun parametru necunoscut. O astfel de funcție de eșantion și de parametru, cu repartiție complet cunoscută, se numește pivot și stă la baza intervalelor de încredere (Cursul 12, Cursul 13) și a testelor (Cursul 15) pentru media unei populații normale; analog, Teorema 16(c) oferă un pivot pentru \(\sigma^2\) (Hogg et al. 2019, secț. 3.6). Pentru o populație nenormală, Corolarul 20 are loc doar asimptotic: \(\sqrt n(\Xbar-\mu)/S_n\dto\Norm(0,1)\) (Exemplul 49 din Cursul 1), iar \(\Stud{n-1}\) și \(\Norm(0,1)\) sunt apropiate pentru \(n\) mare.

Exemplul 12 (Rezistența firelor)

Rezistența la rupere a unui tip de fir este normală, cu parametrii necunoscuți; se testează \(n=6\) fire. Care este probabilitatea ca media eșantionului să difere de \(\mu\) cu mai puțin de \(2S_n/\sqrt n\)?

Rezolvare. Cum \(S_n>0\) a.s., împărțim inegalitatea la \(S_n/\sqrt6\); din Corolarul 20, \(T=\frac{\Xbar-\mu}{S_n/\sqrt6}\sim\Stud5\), iar din simetrie (\(\PP(T\ge2)=\PP(T\le-2)\)), \[ \PP\Big(|\Xbar-\mu|<\frac{2S_n}{\sqrt6}\Big)=\PP(|T|<2)=1-2\,\PP(T\le-2)\approx1-2\cdot0.0510=0.898 . \]

Comparație. Cu \(\sigma\) cunoscut, \(\PP\big(|\Xbar-\mu|<2\sigma/\sqrt6\big)=\PP(|Z|<2)\approx0.954\). Pentru probabilitatea \(0.95\) cu \(\sigma\) necunoscut, factorul \(2\) trebuie înlocuit cu \(t_{5,0.975}\approx2.571\), adică un interval cu \(31\%\) mai lat decât cel cu \(1.96\). Estimarea lui \(\sigma\) din doar \(6\) observații costă mult.

c(P_Student = 1 - 2 * pt(-2, 5), P_normal = 1 - 2 * pnorm(-2),
  t_5 = qt(0.975, 5), raport = qt(0.975, 5) / qnorm(0.975))
#> P_Student  P_normal       t_5    raport 
#>    0.8981    0.9545    2.5706    1.3115

5.3 Repartiția Fisher–Snedecor

Repartiția Fisher apare atunci când comparăm două sume de pătrate de variabile normale independente, de exemplu varianțele a două eșantioane normale independente.

Definiția 21 (Repartiția Fisher-Snedecor)

Fie \(U\sim\chisq{\nu_1}\) și \(V\sim\chisq{\nu_2}\) independente. Repartiția variabilei aleatoare \[ F=\frac{U/\nu_1}{V/\nu_2} \] se numește repartiția Fisher–Snedecor cu \(\nu_1\) grade de libertate la numărător și \(\nu_2\) grade de libertate la numitor și se notează \(F\sim\Fish{\nu_1}{\nu_2}\).

Propoziția 22 (Proprietățile repartiției Fisher-Snedecor)

Fie \(F\sim\Fish{\nu_1}{\nu_2}\). Atunci:

  1. \(F\) are densitatea \[ f_F(x)=\frac{\Gamma\big(\frac{\nu_1+\nu_2}2\big)}{\Gamma\big(\frac{\nu_1}2\big)\Gamma\big(\frac{\nu_2}2\big)}\Big(\frac{\nu_1}{\nu_2}\Big)^{\nu_1/2}x^{\nu_1/2-1}\Big(1+\frac{\nu_1}{\nu_2}x\Big)^{-\frac{\nu_1+\nu_2}2},\qquad x>0; \tag{10}\]

  2. \(\E[F]=\dfrac{\nu_2}{\nu_2-2}\) pentru \(\nu_2>2\) și \(\Var(F)=\dfrac{2\nu_2^2(\nu_1+\nu_2-2)}{\nu_1(\nu_2-2)^2(\nu_2-4)}\) pentru \(\nu_2>4\);

  3. \(1/F\sim\Fish{\nu_2}{\nu_1}\); în consecință \(F_{\nu_1,\nu_2,p}=\dfrac{1}{F_{\nu_2,\nu_1,1-p}}\);

  4. dacă \(T\sim\Stud\nu\), atunci \(T^2\sim\Fish1\nu\); în consecință \(t_{\nu,1-\alpha/2}^2=F_{1,\nu,1-\alpha}\);

  5. \(\dfrac{\nu_1F/\nu_2}{1+\nu_1F/\nu_2}\sim\BetaD\big(\frac{\nu_1}2,\frac{\nu_2}2\big)\).

Demonstrație. Ideea demonstrației. Densitatea (i) se obține exact ca pentru repartiția Student: completăm \(F\) cu variabila auxiliară \(W=V\), aplicăm Teorema 52 din Cursul 1 transformării \((u,v)\mapsto\big(\frac{\nu_2u}{\nu_1v},\,v\big)\), al cărei invers are iacobianul \(\frac{\nu_1}{\nu_2}w\), și integrăm în \(w\) cu (5); nu reproducem calculul (Knight 2000, secț. 2.4). Momentele (ii) rezultă din independența dintre \(U\) și \(1/V\) și din momentele repartiției \(\chi^2\), iar (iii)–(v) direct din definiție.

  1. Media. \(F=\frac{\nu_2}{\nu_1}\cdot U\cdot\frac1V\), cu \(U\) și \(1/V\) independente (funcții de \(U\), respectiv de \(V\), Propoziția 39 din Cursul 1) și nenegative, deci media produsului este produsul mediilor (Propoziția 40 din Cursul 1). Din Propoziția 13(ii) și (iv), \(\E[U]=\nu_1\) și, pentru \(\nu_2>2\), \(\E[1/V]=\frac1{\nu_2-2}\), deci \[ \E[F]=\frac{\nu_2}{\nu_1}\,\E[U]\,\E\Big[\frac1V\Big]=\frac{\nu_2}{\nu_1}\cdot\nu_1\cdot\frac1{\nu_2-2}=\frac{\nu_2}{\nu_2-2}. \] (Pentru \(\nu_2\le2\), \(\E[1/V]=\infty\), din Propoziția 10(i), deci \(\E[F]=\infty\).)

Varianța. La fel, \(F^2=\frac{\nu_2^2}{\nu_1^2}\cdot U^2\cdot V^{-2}\), cu \(U^2\) și \(V^{-2}\) independente și nenegative. Din Propoziția 13(ii), \(\E[U^2]=\Var(U)+(\E[U])^2=2\nu_1+\nu_1^2=\nu_1(\nu_1+2)\), iar din (iv), pentru \(\nu_2>4\), \(\E[V^{-2}]=\frac1{(\nu_2-2)(\nu_2-4)}\), deci \[ \E[F^2]=\frac{\nu_2^2}{\nu_1^2}\,\E[U^2]\,\E\big[V^{-2}\big]=\frac{\nu_2^2}{\nu_1^2}\cdot\frac{\nu_1(\nu_1+2)}{(\nu_2-2)(\nu_2-4)}=\frac{\nu_2^2(\nu_1+2)}{\nu_1(\nu_2-2)(\nu_2-4)} . \] Din \(\Var(F)=\E[F^2]-(\E[F])^2\), aducând la numitorul comun \(\nu_1(\nu_2-2)^2(\nu_2-4)\), \[ \Var(F)=\frac{\nu_2^2(\nu_1+2)}{\nu_1(\nu_2-2)(\nu_2-4)}-\frac{\nu_2^2}{(\nu_2-2)^2}=\frac{\nu_2^2\big[(\nu_1+2)(\nu_2-2)-\nu_1(\nu_2-4)\big]}{\nu_1(\nu_2-2)^2(\nu_2-4)} . \] Paranteza dreaptă este \(\nu_1\nu_2-2\nu_1+2\nu_2-4-\nu_1\nu_2+4\nu_1=2\nu_1+2\nu_2-4=2(\nu_1+\nu_2-2)\), deci \[ \Var(F)=\frac{2\nu_2^2(\nu_1+\nu_2-2)}{\nu_1(\nu_2-2)^2(\nu_2-4)}. \]

  1. \(1/F=\frac{V/\nu_2}{U/\nu_1}\), cu \(V\sim\chisq{\nu_2}\) și \(U\sim\chisq{\nu_1}\) independente, are prin definiție repartiția \(\Fish{\nu_2}{\nu_1}\). Cum \(F>0\) și \(x\mapsto1/x\) este strict descrescătoare pe \((0,\infty)\), \[ p=\PP\big(F\le F_{\nu_1,\nu_2,p}\big)=\PP\Big(\frac1F\ge\frac1{F_{\nu_1,\nu_2,p}}\Big),\qquad\text{deci}\qquad\PP\Big(\frac1F<\frac1{F_{\nu_1,\nu_2,p}}\Big)=1-p, \] adică \(1/F_{\nu_1,\nu_2,p}\) este cuantila de ordin \(1-p\) a repartiției continue \(\Fish{\nu_2}{\nu_1}\).

  2. \(T=Z/\sqrt{Q/\nu}\) cu \(Z\sim\Norm(0,1)\) independentă de \(Q\sim\chisq\nu\), deci \(T^2=\frac{Z^2/1}{Q/\nu}\), unde \(Z^2\sim\chisq1\) (Lema 11) rămâne independentă de \(Q\); din Definiția 21, \(T^2\sim\Fish1\nu\). Pentru cuantile, fie \(c=t_{\nu,1-\alpha/2}>0\) (pentru \(\alpha\in(0,1)\)) și \(F_T\) funcția de repartiție a lui \(T\); din simetrie (Propoziția 19(ii)), \(F_T(-c)=1-F_T(c)\), deci \[ \PP(T^2\le c^2)=\PP(-c\le T\le c)=F_T(c)-F_T(-c)=2F_T(c)-1=2\Big(1-\frac\alpha2\Big)-1=1-\alpha, \] adică \(c^2=t_{\nu,1-\alpha/2}^2\) este cuantila de ordin \(1-\alpha\) a repartiției \(\Fish1\nu\).

  3. Din definiție, \(\frac{\nu_1}{\nu_2}F=\frac UV\), deci, înmulțind numărătorul și numitorul cu \(V>0\), \[ \frac{\nu_1F/\nu_2}{1+\nu_1F/\nu_2}=\frac{U/V}{1+U/V}=\frac{U}{U+V}, \] cu \(U\sim\GammaD(\nu_1/2,1/2)\) și \(V\sim\GammaD(\nu_2/2,1/2)\) independente (Propoziția 13(i)). Din Propoziția 14 (cu \(a=\nu_1/2\), \(b=\nu_2/2\), \(\lambda=1/2\)), \(\frac{U}{U+V}\sim\BetaD\big(\frac{\nu_1}2,\frac{\nu_2}2\big)\).

■

Media repartiției Fisher nu depinde de \(\nu_1\) și tinde la \(1\) când \(\nu_2\to\infty\); când \(\nu_1\) și \(\nu_2\) cresc, repartiția se concentrează în jurul valorii \(1\) (Figura 5), deoarece \(U/\nu_1\to1\) și \(V/\nu_2\to1\) din LNM. Relația (iii) era importantă în epoca tabelelor tipărite (care conțineau doar cuantilele de ordin mare); relația (iv) spune că un test Student bilateral este echivalent cu un test \(F\) unilateral (Cursul 15); relația (v) permite calculul funcției de repartiție Fisher prin funcția Beta incompletă: \(\PP(F\le x)=\PP\big(B\le\frac{\nu_1x}{\nu_2+\nu_1x}\big)\), cu \(B\sim\BetaD(\nu_1/2,\nu_2/2)\).

Arată codul R
xx <- seq(0.005, 4, length.out = 600)
pr <- list(c(2, 10), c(5, 10), c(10, 30), c(50, 50))  # perechi (nu1, nu2)
d <- do.call(rbind, lapply(pr, function(p)
  data.frame(x = xx, y = df(xx, p[1], p[2]),
             g = paste0("ν1 = ", p[1], ", ν2 = ", p[2]))))
d$g <- factor(d$g, levels = unique(d$g))
ggplot(d, aes(x, y, colour = g)) + geom_line() +
  coord_cartesian(ylim = c(0, 1.6)) +
  labs(x = "x", y = "densitate", colour = NULL)
Figura 5: Densitățile repartițiilor Fisher–Snedecor \(F_{\nu_1,\nu_2}\) pentru câteva perechi de grade de libertate; când \(\nu_1,\nu_2\) cresc, repartiția se concentrează în jurul lui \(1\).

5.4 Două eșantioane normale independente

Multe probleme practice compară două populații: două tratamente, două metode de fabricație, două aparate de măsură. Fie \(X_1,\dots,X_{n_1}\) un eșantion din \(\Norm(\mu_1,\sigma_1^2)\) și \(Y_1,\dots,Y_{n_2}\) un eșantion din \(\Norm(\mu_2,\sigma_2^2)\), independente între ele, cu mediile \(\bar X,\bar Y\) și varianțele \(S_1^2,S_2^2\).

Teorema 23 (Repartiții de eșantionare pentru două populații normale)

În condițiile de mai sus:

  1. \(\bar X-\bar Y\sim\Norm\Big(\mu_1-\mu_2,\ \dfrac{\sigma_1^2}{n_1}+\dfrac{\sigma_2^2}{n_2}\Big)\);

  2. \(\dfrac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim\Fish{n_1-1}{n_2-1}\);

  3. dacă \(\sigma_1^2=\sigma_2^2=\sigma^2\) și \(S_p^2=\dfrac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}\) este varianța comună (ponderată) a eșantioanelor, atunci \(\dfrac{(n_1+n_2-2)S_p^2}{\sigma^2}\sim\chisq{n_1+n_2-2}\) și \[ \frac{(\bar X-\bar Y)-(\mu_1-\mu_2)}{S_p\sqrt{\frac1{n_1}+\frac1{n_2}}}\sim\Stud{n_1+n_2-2}. \]

Demonstrație. Ideea demonstrației. Aplicăm teorema lui Fisher fiecărui eșantion și observăm că cele patru statistici \(\bar X,S_1^2,\bar Y,S_2^2\) sunt mutual independente. Apoi (a) este o combinație liniară de normale independente, (b) este un raport de variabile \(\chi^2\) independente împărțite la gradele lor de libertate (definiția repartiției Fisher), iar (c) este un raport de tipul \(Z/\sqrt{Q/\nu}\) (definiția repartiției Student), cu \(Q\) obținut din aditivitatea repartiției \(\chi^2\).

Pasul 0: structura de independență. Din Teorema 16(b) aplicată fiecărui eșantion, \(\bar X\indep S_1^2\) și \(\bar Y\indep S_2^2\). Perechea \((\bar X,S_1^2)\) este funcție de \((X_1,\dots,X_{n_1})\), iar \((\bar Y,S_2^2)\) de \((Y_1,\dots,Y_{n_2})\); cele două eșantioane fiind independente, cele două perechi sunt independente (funcții de blocuri disjuncte de variabile independente, Propoziția 39 din Cursul 1). Pentru mulțimi boreliene \(A,B,C,D\subseteq\R\), factorizând întâi după eșantioane și apoi în interiorul fiecăruia, \[ \begin{aligned} \PP\big(\bar X\in A,S_1^2\in B,\bar Y\in C,S_2^2\in D\big)&=\PP\big(\bar X\in A,S_1^2\in B\big)\,\PP\big(\bar Y\in C,S_2^2\in D\big)\\ &=\PP(\bar X\in A)\,\PP(S_1^2\in B)\,\PP(\bar Y\in C)\,\PP(S_2^2\in D), \end{aligned} \] adică \(\bar X,S_1^2,\bar Y,S_2^2\) sunt mutual independente (Definiția 37 din Cursul 1).

  1. Din Teorema 16(a), \(\bar X\sim\Norm(\mu_1,\sigma_1^2/n_1)\) și \(\bar Y\sim\Norm(\mu_2,\sigma_2^2/n_2)\), iar din Pasul 0 ele sunt independente. Din Exemplul 30 din Cursul 1 (cu \(a_0=0\) și coeficienții \(a_1=1\), \(a_2=-1\)), \(\bar X-\bar Y\) este normală, cu media \(1\cdot\mu_1+(-1)\cdot\mu_2=\mu_1-\mu_2\) și varianța \(1^2\cdot\frac{\sigma_1^2}{n_1}+(-1)^2\cdot\frac{\sigma_2^2}{n_2}=\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}\): mediile se scad, varianțele se adună.

  2. Din Teorema 16(c), \(U=\frac{(n_1-1)S_1^2}{\sigma_1^2}\sim\chisq{n_1-1}\) și \(V=\frac{(n_2-1)S_2^2}{\sigma_2^2}\sim\chisq{n_2-1}\); \(U\) este funcție de \(S_1^2\) și \(V\) de \(S_2^2\), deci sunt independente, din Pasul 0. Împărțind fiecare la numărul său de grade de libertate, \[ \frac{U/(n_1-1)}{V/(n_2-1)}=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}, \] care are, prin Definiția 21 (cu \(\nu_1=n_1-1\), \(\nu_2=n_2-1\)), repartiția \(\Fish{n_1-1}{n_2-1}\). (Raportul este bine definit a.s., deoarece \(S_2^2>0\) a.s.)

  3. Varianța comună. Pentru \(\sigma_1=\sigma_2=\sigma\), din definiția lui \(S_p^2\), \[ \frac{(n_1+n_2-2)S_p^2}{\sigma^2}=\frac{(n_1-1)S_1^2}{\sigma^2}+\frac{(n_2-1)S_2^2}{\sigma^2}=U+V\sim\chisq{n_1+n_2-2}, \] din aditivitate (Propoziția 13(iii)), \(U\) și \(V\) fiind independente, cu \((n_1-1)+(n_2-1)=n_1+n_2-2\) grade de libertate.

Numărătorul. Din (a), \(\bar X-\bar Y\sim\Norm\big(\mu_1-\mu_2,\ \sigma^2\big(\frac1{n_1}+\frac1{n_2}\big)\big)\), deci, standardizând (Propoziția 18(b) din Cursul 1), \(Z=\frac{(\bar X-\bar Y)-(\mu_1-\mu_2)}{\sigma\sqrt{1/n_1+1/n_2}}\sim\Norm(0,1)\).

Concluzia. \(Z\) este funcție de \((\bar X,\bar Y)\), iar \(U+V\) de \((S_1^2,S_2^2)\); din Pasul 0 (funcții de blocuri disjuncte ale variabilelor mutual independente \(\bar X,S_1^2,\bar Y,S_2^2\)), \(Z\indep U+V\). Împărțind numărătorul și numitorul statisticii din enunț la \(\sigma\) și folosind \(S_p/\sigma=\sqrt{(U+V)/(n_1+n_2-2)}\), ea devine \[ \frac{(\bar X-\bar Y)-(\mu_1-\mu_2)}{S_p\sqrt{\frac1{n_1}+\frac1{n_2}}}=\frac{Z}{S_p/\sigma}=\frac{Z}{\sqrt{(U+V)/(n_1+n_2-2)}}, \] care are, prin Definiția 18 (cu \(\nu=n_1+n_2-2\)), repartiția \(\Stud{n_1+n_2-2}\). Ipoteza \(\sigma_1=\sigma_2\) este esențială: fără ea, necunoscuta \(\sigma\) nu se simplifică între numărător și numitor (problema Behrens–Fisher, Cursul 13, Cursul 15).■

Exemplul 13 (Compararea preciziei a două aparate)

Două aparate de măsură au erori normale; cu primul se fac \(n_1=6\) măsurători, cu al doilea \(n_2=10\).

Repartiția raportului. Dacă aparatele sunt la fel de precise (\(\sigma_1=\sigma_2\)), factorul \(\sigma_1^2/\sigma_2^2=1\) dispare din Teorema 23(b), deci \(S_1^2/S_2^2\sim\Fish59\).

Cuantile. \(\PP\big(S_1^2/S_2^2\le b\big)=0.95\) pentru \(b=F_{5,9,0.95}\approx3.482\). Cu \(F_{5,9,0.025}=1/F_{9,5,0.975}\approx0.1497\) și \(F_{5,9,0.975}\approx4.484\), \(\PP\big(0.150\le S_1^2/S_2^2\le4.484\big)=0.95\): chiar pentru aparate identice, raportul varianțelor observate poate fi foarte departe de \(1\), iar intervalul este nesimetric față de \(1\).

Interpretare. Un raport observat de \(6\) ar fi surprinzător dacă \(\sigma_1=\sigma_2\), deoarece \(\PP(S_1^2/S_2^2>6)\approx0.010\); el ar sugera că primul aparat este mai puțin precis. Dacă însă \(\sigma_1=1.5\,\sigma_2\), atunci \(\frac{S_1^2/S_2^2}{2.25}\sim\Fish59\) și \(\PP(S_1^2/S_2^2>6)=\PP\big(\Fish59>2.667\big)\approx0.095\): cu eșantioane atât de mici, chiar o diferență reală de precizie de \(50\%\) produce rar rapoarte mari. Ideea este formalizată de testul \(F\) (Cursul 15).

c(b = qf(0.95, 5, 9), jos = 1 / qf(0.975, 9, 5), sus = qf(0.975, 5, 9),
  P_peste_6 = 1 - pf(6, 5, 9), P_peste_6_dif = 1 - pf(6 / 2.25, 5, 9))
#>             b           jos           sus     P_peste_6 P_peste_6_dif 
#>       3.48166       0.14968       4.48441       0.01031       0.09536

6 Exerciții rezolvate

Exercițiile următoare combină rezultatele cursului: identificarea repartițiilor de eșantionare (Exercițiul 1), o altă formă a varianței eșantionului (Exercițiul 2), un pivot pentru predicție construit cu teorema lui Fisher (Exercițiul 3) și două eșantioane normale (Exercițiul 4). Fiecare rezolvare începe cu ce se cere și ce rezultate folosim.

Exercițiul 1 (Identificarea repartițiilor de eșantionare)

Fie \(Z_1,\dots,Z_7\) variabile i.i.d. \(\Norm(0,1)\), iar \(\bar Z\) și \(S^2\) media și varianța primelor cinci. Determinați repartițiile statisticilor \[ \begin{aligned} &T_1=\frac{Z_1^2}{(Z_2^2+Z_3^2)/2},\quad T_2=\frac{\bar Z}{\sqrt{S^2/5}},\quad T_3=4S^2+5\bar Z^2,\\ &T_4=\frac{\sqrt3\,Z_7}{\sqrt{Z_1^2+Z_2^2+Z_3^2}},\quad T_5=\frac{Z_1^2+Z_2^2+Z_3^2}{Z_4^2+Z_5^2+Z_6^2} \end{aligned} \] și constantele \(c_i\) cu \(\PP(T_1>c_1)=\PP(|T_2|>c_2)=\PP(T_3>c_3)=0.05\).

Soluție

Metoda. Identificăm structurile din definițiile repartițiilor \(\chi^2\), Student și Fisher (Definițiile 12, 18, 21) și verificăm de fiecare dată independența dintre numărător și numitor.

  • \(T_1\). Din Lema 11, \(Z_1^2\sim\chisq1\), iar \(Z_2^2+Z_3^2\sim\chisq2\); numărătorul depinde doar de \(Z_1\), numitorul doar de \((Z_2,Z_3)\), deci sunt independente. Rezultă \(T_1=\frac{Z_1^2/1}{(Z_2^2+Z_3^2)/2}\sim\Fish12\) și \(c_1=F_{1,2,0.95}\approx18.51\). Verificare cu Propoziția 22(iv): \(T_1\) este pătratul unei variabile \(\Stud2\), deci \(F_{1,2,0.95}=t_{2,0.975}^2=4.303^2\approx18.51\) (cuantila \(t_{2,0.975}\) a fost calculată explicit în Exemplul 11).
  • \(T_2\). Este statistica Student (Corolarul 20) pentru eșantionul \(Z_1,\dots,Z_5\) din \(\Norm(0,1)\) (\(\mu=0\), \(n=5\)): \(T_2\sim\Stud4\). Din simetrie, \(\PP(|T_2|>c_2)=2\PP(T_2>c_2)=0.05\) cere \(\PP(T_2\le c_2)=0.975\), deci \(c_2=t_{4,0.975}\approx2.776\).
  • \(T_3\). Din Lema 4 cu \(a=0\), \(4S^2=\sum_{i=1}^5Z_i^2-5\bar Z^2\), deci \(T_3=\sum_{i=1}^5Z_i^2\sim\chisq5\) și \(c_3=\chi^2_{5,0.95}\approx11.07\). (Altfel: \(4S^2\sim\chisq4\) și \(5\bar Z^2=(\sqrt5\bar Z)^2\sim\chisq1\) sunt independente, din teorema lui Fisher, iar suma lor este \(\chisq5\) din aditivitate.)
  • \(T_4=\dfrac{Z_7}{\sqrt{(Z_1^2+Z_2^2+Z_3^2)/3}}\), cu \(Z_7\sim\Norm(0,1)\) independentă de \(Z_1^2+Z_2^2+Z_3^2\sim\chisq3\): \(T_4\sim\Stud3\). Factorul \(\sqrt3\) din enunț este exact cel care împarte numitorul la numărul de grade de libertate.
  • \(T_5=\dfrac{(Z_1^2+Z_2^2+Z_3^2)/3}{(Z_4^2+Z_5^2+Z_6^2)/3}\sim\Fish33\) (grupuri disjuncte de variabile, deci independente). Din Propoziția 22(iii), \(1/T_5\sim\Fish33\) are aceeași repartiție ca \(T_5\), deci \(\PP(T_5\le1)=\PP(1/T_5\ge1)=\PP(T_5\ge1)\) (prima egalitate deoarece \(T_5>0\), a doua din egalitatea repartițiilor). Cum \(T_5\) este continuă, \(\PP(T_5\le1)+\PP(T_5\ge1)=1\), deci \(\PP(T_5\le1)=\frac12\): mediana lui \(T_5\) este \(1\).

Atenție. Statistica \(\frac{Z_1^2}{(Z_1^2+Z_2^2)/2}\) nu are repartiția \(\Fish12\): numărătorul și numitorul nu sunt independente (statistica este mărginită de \(2\)). De fapt, din Propoziția 14, \(\frac{Z_1^2}{Z_1^2+Z_2^2}\sim\BetaD(\frac12,\frac12)\).

Verificare numerică și prin simulare (toate probabilitățile simulate trebuie să fie \(\approx0.05\), iar ultima \(\approx0.5\)):

c(c1 = qf(0.95, 1, 2), t2_patrat = qt(0.975, 2)^2, c2 = qt(0.975, 4),
  c3 = qchisq(0.95, 5))
#>        c1 t2_patrat        c2        c3 
#>    18.513    18.513     2.776    11.070
set.seed(13); Z <- matrix(rnorm(7 * 1e5), ncol = 7)
zb <- rowMeans(Z[, 1:5]); s2 <- apply(Z[, 1:5], 1, var)
T1 <- Z[, 1]^2 / ((Z[, 2]^2 + Z[, 3]^2) / 2)
T4 <- sqrt(3) * Z[, 7] / sqrt(rowSums(Z[, 1:3]^2))
T5 <- rowSums(Z[, 1:3]^2) / rowSums(Z[, 4:6]^2)
c(P_T1 = mean(T1 > 18.51), P_T2 = mean(abs(zb / sqrt(s2 / 5)) > 2.776),
  P_T3 = mean(4 * s2 + 5 * zb^2 > 11.07), P_T4 = mean(abs(T4) > qt(0.975, 3)),
  P_T5 = mean(T5 <= 1))
#>    P_T1    P_T2    P_T3    P_T4    P_T5 
#> 0.05020 0.04963 0.04952 0.04915 0.50096
Exercițiul 2 (Varianța eșantionului ca medie a diferențelor pătratice)
  1. Arătați că \(S_n^2=\dfrac{1}{2n(n-1)}\displaystyle\sum_{i=1}^n\sum_{j=1}^n\big(X_i-X_j\big)^2\).

  2. Deduceți din nou că \(\E[S_n^2]=\sigma^2\) pentru orice populație cu varianță finită.

Soluție
  1. Notăm \(a_i=X_i-\Xbar\) (cu \(\sum_ia_i=0\)) și scriem \(X_i-X_j=a_i-a_j\). Dezvoltând pătratul, \[ \begin{aligned} \sum_{i=1}^n\sum_{j=1}^n(X_i-X_j)^2&=\sum_{i,j}\big(a_i^2-2a_ia_j+a_j^2\big)=\sum_{i,j}a_i^2-2\sum_{i,j}a_ia_j+\sum_{i,j}a_j^2\\ &=n\sum_ia_i^2-2\Big(\sum_ia_i\Big)\Big(\sum_ja_j\Big)+n\sum_ja_j^2=2n\sum_{i=1}^na_i^2, \end{aligned} \] deoarece în prima și a treia sumă termenul nu depinde de unul dintre indici, iar suma din mijloc se factorizează și este nulă. Cum \(\sum_ia_i^2=(n-1)S_n^2\), împărțind la \(2n(n-1)\) obținem formula din enunț. Termenii cu \(i=j\) sunt nuli și fiecare pereche \(\{i,j\}\) apare de două ori, deci \[ S_n^2=\binom n2^{-1}\sum_{1\le i<j\le n}\frac{(X_i-X_j)^2}{2}. \]

  2. Ce folosim: formula de la (a) și liniaritatea mediei; nu avem nevoie de \(\Xbar\). Pentru \(i\ne j\), \(X_i\) și \(X_j\) sunt independente și identic repartizate, deci \(\E[X_i-X_j]=\mu-\mu=0\) și, din Propoziția 42(d) din Cursul 1 (cu coeficienții \(1\) și \(-1\)), \(\Var(X_i-X_j)=\Var(X_i)+\Var(X_j)=2\sigma^2\); din \(\E[Y^2]=\Var(Y)+(\E[Y])^2\), \(\E[(X_i-X_j)^2]=2\sigma^2+0=2\sigma^2\). Termenii cu \(i=j\) sunt nuli. Din liniaritatea mediei, cu cele \(n(n-1)\) perechi ordonate \(i\ne j\), \[ \E[S_n^2]=\frac{1}{2n(n-1)}\sum_{i\ne j}\E\big[(X_i-X_j)^2\big]=\frac{n(n-1)\cdot2\sigma^2}{2n(n-1)}=\sigma^2 . \] Deci \(\E[S_n^2]=\sigma^2\) pentru orice populație cu varianță finită. Interpretare. \(S_n^2\) este media, peste toate perechile de observații distincte, a mărimii \(\frac12(X_i-X_j)^2\), un estimator nedeplasat al lui \(\sigma^2\) bazat pe doar două observații; formula nu face nicio referire la \(\Xbar\), iar factorul \(\frac1{n-1}\) apare natural din numărarea perechilor (statistici de acest tip se numesc U-statistici, Hoeffding, 1948).

x <- c(4.2, 5.1, 3.8, 6.0, 5.5)
c(var(x), sum(outer(x, x, "-")^2) / (2 * 5 * 4))    # aceeași valoare, 0.827
#> [1] 0.827 0.827
Exercițiul 3 (Predicția unei observații viitoare)

Fie \(X_1,\dots,X_n,X_{n+1}\) i.i.d. \(\Norm(\mu,\sigma^2)\), iar \(\Xbar\) și \(S_n^2\) calculate din primele \(n\) observații.

  1. Arătați că \(\dfrac{X_{n+1}-\Xbar}{S_n\sqrt{1+1/n}}\sim\Stud{n-1}\).

  2. Pentru \(n=15\), determinați \(k\) astfel încât \(\PP\big(|X_{16}-\bar X_{15}|\le kS_{15}\big)=0.95\).

Soluție
  1. Construim, ca în Corolarul 20, un raport \(Z/\sqrt{Q/(n-1)}\) cu \(Z\sim\Norm(0,1)\) independentă de \(Q\sim\chisq{n-1}\).

Independența. Perechea \((\Xbar,S_n^2)\) este funcție de \((X_1,\dots,X_n)\), deci independentă de \(X_{n+1}\) (Propoziția 39 din Cursul 1), iar \(\Xbar\indep S_n^2\) (Teorema 16(b)). Ca în Pasul 0 al demonstrației Teoremei 23, pentru boreliene \(A,B,C\subseteq\R\), \[ \begin{aligned} \PP\big(X_{n+1}\in A,\Xbar\in B,S_n^2\in C\big)&=\PP(X_{n+1}\in A)\,\PP\big(\Xbar\in B,S_n^2\in C\big)\\ &=\PP(X_{n+1}\in A)\,\PP(\Xbar\in B)\,\PP(S_n^2\in C), \end{aligned} \] adică \(X_{n+1}\), \(\Xbar\) și \(S_n^2\) sunt mutual independente; în particular, orice funcție de \((X_{n+1},\Xbar)\) este independentă de orice funcție de \(S_n^2\).

Repartiția diferenței. \(X_{n+1}\sim\Norm(\mu,\sigma^2)\) și \(\Xbar\sim\Norm(\mu,\sigma^2/n)\) (Teorema 16(a)) sunt independente, deci, din Exemplul 30 din Cursul 1 (cu coeficienții \(1\) și \(-1\)), \(X_{n+1}-\Xbar\) este normală, cu media \(\mu-\mu=0\) și varianța \(\sigma^2+\frac{\sigma^2}n=\sigma^2(1+\frac1n)\). Standardizând, \(Z=\frac{X_{n+1}-\Xbar}{\sigma\sqrt{1+1/n}}\sim\Norm(0,1)\).

Raportul. Cu \(Q=(n-1)S_n^2/\sigma^2\sim\chisq{n-1}\), independentă de \(Z\), și \(\sqrt{Q/(n-1)}=S_n/\sigma\), \[ \frac{X_{n+1}-\Xbar}{S_n\sqrt{1+1/n}}=\frac{Z}{S_n/\sigma}=\frac{Z}{\sqrt{Q/(n-1)}}\sim\Stud{n-1}. \] Deci \(\frac{X_{n+1}-\Xbar}{S_n\sqrt{1+1/n}}\sim\Stud{n-1}\). Parametrii necunoscuți \(\mu\) și \(\sigma\) au dispărut: statistica este un pivot pentru predicție.

  1. Pentru \(n=15\), \(T=\frac{X_{16}-\bar X_{15}}{S_{15}\sqrt{16/15}}\sim\Stud{14}\), iar din simetrie \[ \PP\big(|X_{16}-\bar X_{15}|\le kS_{15}\big)=\PP\Big(|T|\le\frac{k}{\sqrt{16/15}}\Big)=0.95\iff\frac{k}{\sqrt{16/15}}=t_{14,0.975}, \] deci \(k=t_{14,0.975}\sqrt{16/15}\approx2.1448\cdot1.0328\approx2.215\).

Interpretare. Intervalul aleator \(\bar X_{15}\pm2.215\,S_{15}\) conține o observație viitoare cu probabilitatea \(0.95\) (interval de predicție). Intervalul analog pentru \(\mu\), \(\bar X_{15}\pm t_{14,0.975}S_{15}/\sqrt{15}=\bar X_{15}\pm0.554\,S_{15}\), este de \(4\) ori mai îngust: predicția include și variabilitatea observației individuale (\(\sigma^2\)), nu doar incertitudinea asupra lui \(\mu\) (\(\sigma^2/n\)). Când \(n\to\infty\), lățimea intervalului de predicție tinde la \(2z_{0.975}\sigma\), nu la \(0\).

set.seed(15); B <- 50000
X <- matrix(rnorm(16 * B, 10, 2), nrow = B)
xb <- rowMeans(X[, 1:15]); s <- apply(X[, 1:15], 1, sd)
k <- qt(0.975, 14) * sqrt(16 / 15)
c(k = k, acoperire = mean(abs(X[, 16] - xb) <= k * s))       # aproape 0.95
#>         k acoperire 
#>    2.2151    0.9519
Exercițiul 4 (Două eșantioane cu aceeași varianță)

Fie \(X_1,\dots,X_{10}\) și \(Y_1,\dots,Y_{16}\) eșantioane independente din \(\Norm(\mu_1,\sigma^2)\), respectiv \(\Norm(\mu_2,\sigma^2)\). (a) Determinați \(c\) astfel încât \(\PP(S_1^2/S_2^2\le c)=0.95\) și calculați \(\PP(S_1^2>2S_2^2)\). (b) Arătați că varianța comună \(S_p^2\) are media \(\sigma^2\), comparați varianța ei cu varianțele lui \(S_1^2\) și \(S_2^2\) și arătați că ponderile din \(S_p^2\) sunt optime printre combinațiile \(aS_1^2+(1-a)S_2^2\).

Soluție
  1. Ce folosim. Raportul varianțelor a două eșantioane normale independente, împărțit la raportul varianțelor populațiilor, are repartiția Fisher (Teorema 23(b)). Aici \(n_1-1=9\), \(n_2-1=15\) și \(\sigma_1^2/\sigma_2^2=1\), deci \(S_1^2/S_2^2\sim\Fish9{15}\), oricare ar fi \(\sigma^2\), \(\mu_1\), \(\mu_2\). Deci \(c=F_{9,15,0.95}\approx2.588\) și, cum \(S_2^2>0\), \(\PP(S_1^2>2S_2^2)=\PP\big(\Fish9{15}>2\big)\approx0.113\): chiar pentru varianțe egale, în aproximativ \(11\%\) din cazuri varianța primului eșantion o depășește pe a celui de-al doilea de peste două ori.

  2. Media și varianța lui \(S_p^2\). Aici \(n_1+n_2-2=24\) și \(S_p^2=\frac{9S_1^2+15S_2^2}{24}\). Din Teorema 23(c), \(Q=\frac{24S_p^2}{\sigma^2}\sim\chisq{24}\), deci, din Propoziția 13(ii), \(\E[Q]=24\) și \(\Var(Q)=48\). Cum \(S_p^2=\frac{\sigma^2}{24}Q\), \[ \E[S_p^2]=\frac{\sigma^2}{24}\cdot24=\sigma^2,\qquad\Var(S_p^2)=\frac{\sigma^4}{24^2}\cdot48=\frac{\sigma^4}{12}\approx0.0833\,\sigma^4 . \] Deci \(\E[S_p^2]=\sigma^2\). Din Corolarul 17, \(\Var(S_1^2)=\frac{2\sigma^4}9\approx0.222\,\sigma^4\) și \(\Var(S_2^2)=\frac{2\sigma^4}{15}\approx0.133\,\sigma^4\): combinarea eșantioanelor dă un estimator mult mai precis.

Optimalitatea ponderilor. Pentru \(\hat\sigma^2_a=aS_1^2+(1-a)S_2^2\), din liniaritatea mediei \(\E[\hat\sigma^2_a]=a\sigma^2+(1-a)\sigma^2=\sigma^2\) pentru orice \(a\). Cum \(S_1^2\) și \(S_2^2\) sunt independente (Pasul 0 al demonstrației Teoremei 23), varianța sumei este suma varianțelor (Propoziția 42(d) din Cursul 1), iar \(\Var(cY)=c^2\Var(Y)\): \[ \Var(\hat\sigma^2_a)=a^2\,\frac{2\sigma^4}{9}+(1-a)^2\,\frac{2\sigma^4}{15}, \] funcție de gradul doi în \(a\), cu minimul în punctul în care derivata se anulează: \(\frac{2a}{9}-\frac{2(1-a)}{15}=0\), adică \(15a=9(1-a)\) și \(a=\frac{9}{24}=\frac{n_1-1}{n_1+n_2-2}\). Ponderile optime sunt exact cele din \(S_p^2\), proporționale cu gradele de libertate; media simplă \(\frac12(S_1^2+S_2^2)\) are varianța \(\frac14\big(\frac29+\frac2{15}\big)\sigma^4\approx0.0889\,\sigma^4>0.0833\,\sigma^4\).

c(c = qf(0.95, 9, 15), P = 1 - pf(2, 9, 15),
  Var_Sp = 2 / 24, Var_simpla = (2 / 9 + 2 / 15) / 4)     # unități sigma^4
#>          c          P     Var_Sp Var_simpla 
#>    2.58763    0.11309    0.08333    0.08889
De reținut
  • \(\Xbar=\frac1n\sum X_i\), \(V_n^2=\frac1n\sum(X_i-\Xbar)^2\), \(S_n^2=\frac{n}{n-1}V_n^2\); \(\ \sum(x_i-a)^2=\sum(x_i-\bar x_n)^2+n(\bar x_n-a)^2\); \(\ (n-1)s_n^2=(n-2)s_{n-1}^2+\frac{n-1}n(x_n-\bar x_{n-1})^2\).
  • Pentru orice populație: \(\E[\Xbar]=\mu\), \(\Var(\Xbar)=\sigma^2/n\); \(\ \E[V_n^2]=\frac{n-1}n\sigma^2\), \(\E[S_n^2]=\sigma^2\); \(\ \Var(S_n^2)=\frac1n\big(\mu_4-\frac{n-3}{n-1}\sigma^4\big)\), \(\Cov(\Xbar,S_n^2)=\mu_3/n\); \(\ S_n^2\asto\sigma^2\) și \(\sqrt n(S_n^2-\sigma^2)\dto\Norm(0,\mu_4-\sigma^4)\).
  • \(\GammaD(\alpha,\lambda)\): media \(\frac\alpha\lambda\), varianța \(\frac\alpha{\lambda^2}\), f.g.m. \((1-t/\lambda)^{-\alpha}\), \(\E[X^r]=\frac{\Gamma(\alpha+r)}{\Gamma(\alpha)\lambda^r}\); aditivă în \(\alpha\) pentru același \(\lambda\); \(\frac{X}{X+Y}\sim\BetaD(a,b)\) independent de \(X+Y\).
  • \(\chisq\nu=\sum_{i=1}^\nu Z_i^2=\GammaD(\frac\nu2,\frac12)\): f.g.m. \((1-2t)^{-\nu/2}\), media \(\nu\), varianța \(2\nu\), aditivă, \(\E[1/Q]=\frac1{\nu-2}\).
  • Teorema lui Fisher (\(\Norm(\mu,\sigma^2)\)): \(\Xbar\sim\Norm(\mu,\frac{\sigma^2}n)\), \(\Xbar\indep S_n^2\), \(\frac{(n-1)S_n^2}{\sigma^2}\sim\chisq{n-1}\). Demonstrația: (a) f.g.m.; (b) schimbarea de variabilă \(\bx\mapsto(\bar x_n,x_2-\bar x_n,\dots,x_n-\bar x_n)\), cu iacobianul inversei \(n\), și factorizarea densității; (c) relația de recurență, aditivitatea lui \(\chi^2\) și inducție. Consecințe: \(\Var(S_n^2)=\frac{2\sigma^4}{n-1}\), \(\E[S_n]=c_4(n)\sigma<\sigma\).
  • \(\Stud\nu=\frac{Z}{\sqrt{Q/\nu}}\), \(Z\indep Q\): densitatea \(\propto(1+t^2/\nu)^{-(\nu+1)/2}\), simetrică, cozi grele, \(\Var=\frac\nu{\nu-2}\), \(\Stud1=\) Cauchy, \(\Stud\nu\dto\Norm(0,1)\); \(\ \frac{\Xbar-\mu}{S_n/\sqrt n}\sim\Stud{n-1}\) (pivot).
  • \(\Fish{\nu_1}{\nu_2}=\frac{U/\nu_1}{V/\nu_2}\): media \(\frac{\nu_2}{\nu_2-2}\), \(F_{\nu_1,\nu_2,p}=1/F_{\nu_2,\nu_1,1-p}\), \(\Stud\nu^2=\Fish1\nu\); \(\ \frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim\Fish{n_1-1}{n_2-1}\); pentru \(\sigma_1=\sigma_2\): \(\frac{\bar X-\bar Y-(\mu_1-\mu_2)}{S_p\sqrt{1/n_1+1/n_2}}\sim\Stud{n_1+n_2-2}\).

Legătura cu cursurile următoare. Metoda Delta din Cursul 6 va da aproximări pentru repartiția unor funcții de \(\Xbar\) și \(S_n^2\) (de exemplu, a abaterii standard \(S_n\)) atunci când repartiția exactă nu este cunoscută. În Cursul 7 vom judeca \(S_n^2\), \(V_n^2\) și \(S_n\) ca estimatori (nedeplasare, eroare pătratică medie), folosind momentele calculate aici. Pivoții obținuți din teorema lui Fisher — \(\frac{\Xbar-\mu}{S_n/\sqrt n}\sim\Stud{n-1}\), \(\frac{(n-1)S_n^2}{\sigma^2}\sim\chisq{n-1}\) și raportul varianțelor \(\sim\Fish{n_1-1}{n_2-1}\) — conduc direct la intervalele de încredere pentru populații normale (Cursul 12, Cursul 13) și la testele \(t\), \(\chi^2\) și \(F\) (Cursul 14, Cursul 15).

Bibliografie

Casella, George, and Roger L. Berger. 2002. Statistical Inference. 2nd ed. Duxbury.
Delmas, Jean-François. 2010. Introduction Au Calcul Des Probabilités Et à La Statistique. Les Presses de l’ENSTA.
Hogg, Robert V., Joseph W. McKean, and Allen T. Craig. 2019. Introduction to Mathematical Statistics. 8th ed. Pearson.
Knight, Keith. 2000. Mathematical Statistics. Texts in Statistical Science. Chapman & Hall/CRC.